[논문 리뷰] DeepVisage: Making face recognition simple yet with powerful generalization skills

Abul Hasnat, Julien Bohné외 3명|arXiv (Cornell University)|2017. 03. 24.

Face recognition and analysis인용 수 20

한 줄 요약

DeepVisage는 식별자 레이블, 특징 정규화, 소프트맥스 손실만을 사용하여 상태의 성능을 달성하는 단순하지만 강력한 단일 CNN 기반 얼굴 인식 방법을 제안한다. LFW에서 99.62%의 정확도, IJB-A에서 FAR=0.001일 때 TAR 82.4%, YouTube Faces에서 96.24%, CACD에서 99.13%의 성능을 기록하며, 복잡한 훈련 절차나 다중손실 최적화 없이 다양한 데이터셋에 걸쳐 뛰어난 일반화 성능을 보여준다.

ABSTRACT

Face recognition (FR) methods report significant performance by adopting the convolutional neural network (CNN) based learning methods. Although CNNs are mostly trained by optimizing the softmax loss, the recent trend shows an improvement of accuracy with different strategies, such as task-specific CNN learning with different loss functions, fine-tuning on target dataset, metric learning and concatenating features from multiple CNNs. Incorporating these tasks obviously requires additional efforts. Moreover, it demotivates the discovery of efficient CNN models for FR which are trained only with identity labels. We focus on this fact and propose an easily trainable and single CNN based FR method. Our CNN model exploits the residual learning framework. Additionally, it uses normalized features to compute the loss. Our extensive experiments show excellent generalization on different datasets. We obtain very competitive and state-of-the-art results on the LFW, IJB-A, YouTube faces and CACD datasets.

연구 동기 및 목표

• 복잡한 훈련 절차나 추가 데이터 준비 없이도 최신 기술 수준의 성능을 달성할 수 있는 단순한 단일-CNN 얼굴 인식 방법을 개발하는 것.
• 단일 CNN을 식별자 레이블만으로 훈련시킬 경우 다양한 얼굴 인식 벤치마크에서 효과적으로 일반화될 수 있는지 조사하는 것.
• 특징 정규화와 잔차 학습이 얼굴 인식에서 일반화 및 성능에 미치는 영향을 탐색하는 것.
• 삼중손실, 거리 기반 학습 또는 다중모델 앙상블과 같은 복잡한 전략에 대한 의존도를 줄이는 것.
• 최소한의 아키텍처 및 훈련 복잡도로도 높은 성능를 달성할 수 있음을 보여주는 것.

제안 방법

• 훈련 안정성과 성능 향상을 위해 잔차 학습 프레임워크를 활용한 27개의 합성곱층과 1개의 완전연결층을 가진 깊은 CNN.
• 소프트맥스 손실 계산 이전에 특징 정규화를 적용하여 내부 클래스의 밀도를 높이고, 외부 클래스 간의 분리도 향상시킨다.
• 삼중손실이나 중심 손실과 같은 복잡한 손실 함수를 피하고, 표준 소프트맥스 교차엔트로피 손실을 사용하여 식별자 레이블만으로 모델을 훈련시킨다.
• 두 이미지의 정규화된 딥 특징 간의 단순 L2 거리로 얼굴 검증을 수행한다.
• 온라인 삼중손실 마이닝이나 오프라인 삼중손실 생성과 같은 데이터 집약적인 사전 처리를 피한다.
• 표준 딥러닝 컴포넌트에 의존하여 효율성과 구현 용이성을 고려해 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 식별자 레이블만으로 훈련된 단일 깊은 CNN이 최신 기술 수준의 얼굴 인식 성능를 달성할 수 있는가?
• RQ2 소프트맥스 손실 이전에 특징 정규화를 적용하면 추가 손실 구성 요소 없이도 일반화 성능를 향상시킬 수 있는가?
• RQ3 복잡한 다중손실 또는 다중모델 접근 방식과 비교해 본다면, 성능 및 다양한 데이터셋 간 일반화 성능에서 본 방법은 어떠한가?
• RQ4 이 방법의 실패 원인은 무엇이며, 이미지 품질, 자세, 가림, 특징점 검출 오류와 어떤 관련이 있는가?
• RQ5 정규화된 특징을 가진 단순한 잔차 기반 CNN이 메트릭 학습 또는 앙상블 특징을 사용하는 더 복잡한 아키텍처를 능가할 수 있는가?

주요 결과

• DeepVisage는 LFW 벤치마크에서 99.62%의 정확도를 기록하여 제한 없는 얼굴 검증 환경에서 뛰어난 성능를 입증한다.
• IJB-A 데이터셋에서 82.4%의 TAR@FAR=0.001 성능를 달성하여 템플릿 기반 얼굴 매칭 분야에서 최신 기술 수준에 속한다.
• YouTube Faces 데이터셋에서 96.24%의 정확도를 기록하여 비디오 기반 얼굴 인식 과제에 대해 강력한 내구성을 보여준다.
• CACD 데이터셋에서 99.13%의 정확도를 확보하여 연령이 다른 얼굴 인식 시나리오에서도 높은 성능를 보여준다.
• 포즈, 조명, 연령 변화가 심한 데이터셋을 포함한 다양한 데이터셋 간에 뛰어난 일반화 성능를 보여준다.
• 실패 분석 결과, 가림(예: 안경, 모자), 높은 자세 변화, 특징점 검출 실패가 잘못된 예측의 주요 원인임을 확인했다.