[논문 리뷰] Towards Interpretable Face Recognition

Bangjie Yin, Luan Tran외 3명|arXiv (Cornell University)|2018. 05. 02.

Face recognition and analysis참고 문헌 52인용 수 7

한 줄 요약

이 논문은 공간적 및 특징 활성화 다양성 손실을 통해 합성곱 필터가 특정이고 일관된 얼굴 부위(예: 눈, 코)에만 반응하도록 유도하는 새로운 손실 기반 훈련 방법을 제안한다. 이 방법은 성능을 희생시키지 않은 채 매우 해석 가능하고, 차폐에 강한 표현을 생성하면서도 최신 기술 수준의 얼굴 인식 정확도를 달성한다.

ABSTRACT

Deep CNNs have been pushing the frontier of visual recognition over past years. Besides recognition accuracy, strong demands in understanding deep CNNs in the research community motivate developments of tools to dissect pre-trained models to visualize how they make predictions. Recent works further push the interpretability in the network learning stage to learn more meaningful representations. In this work, focusing on a specific area of visual recognition, we report our efforts towards interpretable face recognition. We propose a spatial activation diversity loss to learn more structured face representations. By leveraging the structure, we further design a feature activation diversity loss to push the interpretable representations to be discriminative and robust to occlusions. We demonstrate on three face recognition benchmarks that our proposed method is able to improve face recognition accuracy with easily interpretable face representations.

연구 동기 및 목표

• 각 필터 응답이 일관된 얼굴 부위에 대응하는 해석 가능한 얼굴 표현을 학습하는 방법을 개발한다.
• 기존의 해석 가능한 CNN 연구에서 관찰된 해석 가능성과 인식 정확도 사이의 상충 관계를 해결한다.
• 구조화된 부분 기반 표현을 활용하여 차폐에 대한 내성을 향상시킨다.
• 모델에 의존하지 않는 손실 기반 제약 조건을 도입하면서도 엔드 투 엔드 훈련을 유지한다.

제안 방법

• 지역화된 얼굴 부위에만 반응하도록 유도하기 위해 공간적 활성화 다양성 손실을 도입하여 넓은 영역에 퍼진 비특이적 활성화를 줄인다.
• 동일 신원의 다른 이미지 간에 필터 응답을 일치시켜 판별력을 향상시키기 위해 특징 활성화 다양성 손실을 설계한다.
• 표준 얼굴 인식 아키텍처(예: ResNet50, CASIA-Net)에 대해 아키텍처 변경 없이 엔드 투 엔드 훈련 중에 두 손실을 적용한다.
• 필터 응답 패턴을 사용해 부분 전용 특징(예: '코 필터')을 정의하여 부분 얼굴 검색과 같은 후속 작업에 활용한다.
• 필터 간의 피크 활성화 위치를 활용해 의미론적 얼굴 구성 요소를 식별하고 분리하여 해석 가능성을 확보한다.
• 검색 및 확인 작업 평가를 위해 신원 수준 특징 간 코사인 거리를 사용한다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 신경망을 훈련시켜 각 필터가 일관된 얼굴 부위에만 반응하는 해석 가능한 얼굴 표현을 학습시킬 수 있는가?
• RQ2 손실 함수를 통한 해석 가능성 도입이 표준 훈련 대비 인식 정확도를 떨어뜨리는가?
• RQ3 해석 가능한 표현이 얼굴 인식에서 차폐에 대해 내성을 향상시킬 수 있는가?
• RQ4 학습된 필터 구조가 부분 얼굴 검색과 같은 후속 작업에 얼마나 기여할 수 있는가?
• RQ5 제안된 손실은 이전의 해석 가능성 방법에 비해 성능 및 해석 가능성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 IJB-A 벤치마크에서 최신 기술 수준의 정확도를 달성하여 FAR=0.01일 때 98.2%의 확인 정확도를 기록했으며, 기본 ResNet50 및 이전 최신 기술 수준 모델을 초월한다.
• IJB-C 데이터셋에서의 확인 정확도는 FAR=0.01일 때 96.0%를 기록하여 최신 기술 수준의 모델과 동등하거나 이를 초월한다.
• CASIA-Net 백본을 사용한 모델은 IJB-A에서 랭크-1 성능을 1.9% 향상시켜 87.9%로 향상시켰으며, 이는 개선된 내성을 보여준다.
• 차폐된 얼굴 데이터셋에서 이 방법은 상당한 성능 향상을 보였다. 예를 들어, AR 데이터셋에서 안경과 스카프가 있는 경우 3.9%의 EER을 기록했으며, CASIA-Net(21.6% EER)을 뛰어넘었다.
• 부분 기반 특징을 사용한 부분 얼굴 검색은 눈에 대해 71%의 랭크-1 정확도, 입에 대해 58%, 코에 대해 69%를 기록하여 해석 가능한 필터의 유용성을 확인한다.
• 이 방법은 강력한 해석 가능성을 도입하면서도 정확도를 유지하거나 향상시켜 해석 가능성과 성능 사이의 일반적인 상충 관계를 깨뜨렸다.