[논문 리뷰] Scalable Angular Discriminative Deep Metric Learning for Face Recognition

Bowen Wu, Wu, Huaming외 1명|arXiv (Cornell University)|2018. 04. 29.

Face recognition and analysis참고 문헌 18인용 수 3

한 줄 요약

이 논문은 훈련 중에 클래스 내 코사인 유사도가 마진을 초과하도록 강제하여 훈련을 테스트와 일치시키고, 확장 가능한 각도 기반의 분류적 딥 메트릭 학습 방법을 제안한다. 자기 적응형 마진 학습, 특징 정규화, 그리고 클래스 내·외의 변동성을 동시에 고려하는 점진적 손실을 도입하여, LFW, YTF, IJB-A 데이터셋에서 최신 기준 성능을 달성하며 최대 1.5%의 정확도 향상을 이룬다.

ABSTRACT

With the development of deep learning, Deep Metric Learning (DML) has achieved great improvements in face recognition. Specifically, the widely used softmax loss in the training process often bring large intra-class variations, and feature normalization is only exploited in the testing process to compute the pair similarities. To bridge the gap, we impose the intra-class cosine similarity between the features and weight vectors in softmax loss larger than a margin in the training step, and extend it from four aspects. First, we explore the effect of a hard sample mining strategy. To alleviate the human labor of adjusting the margin hyper-parameter, a self-adaptive margin updating strategy is proposed. Then, a normalized version is given to take full advantage of the cosine similarity constraint. Furthermore, we enhance the former constraint to force the intra-class cosine similarity larger than the mean inter-class cosine similarity with a margin in the exponential feature projection space. Extensive experiments on Labeled Face in the Wild (LFW), Youtube Faces (YTF) and IARPA Janus Benchmark A (IJB-A) datasets demonstrate that the proposed methods outperform the mainstream DML methods and approach the state-of-the-art performance.

연구 동기 및 목표

• 딥 메트릭 학습에서 표준 소프트맥스 손실을 통해 학습된 특징에서 발생하는 큰 클래스 내 변동성을 해결하기 위해.
• 일반적으로 쌍별 유사도 계산에 코사인 유사도를 사용하는 테스트 프로토콜과 훈련 과정을 일치시키기 위해.
• 자기 적응형 마진 전략을 도입하여 수동 하이퍼파rameter 조정에 대한 의존도를 줄이기 위해.
• 정규화된 특징 공간에서 클래스 내 밀집도와 클래스 간 분리도를 동시에 모델링하여 특징의 분류 가능성을 향상시키기 위해.
• 훈련과 추론 간 일관성을 유지하면서 일반화 성능을 향상시키는 확장 가능하고 미분 가능한 손실 함수를 개발하기 위해.

제안 방법

• 훈련 중에 클래스 내 코사인 유사도가 고정된 마진을 초과하도록 강제하는 새로운 손실 함수를 제안하여, 코사인 기반 테스트와의 일관성을 향상시킨다.
• 잘못 분류된 샘플에 집중하는 하드 샘플 마이닝 전략을 도입하여 어려운 신원에 대한 마진 학습을 향상시킨다.
• 지역적 특징 분포에 기반해 마진을 자동으로 갱신하는 자기 적응형 마진 업데이트 메커니즘을 개발하여 수동 조정을 줄인다.
• 미니배치 단위로 특징 및 가중치 벡터 정규화를 적용하여 특징 노름의 폭발을 방지하고 훈련을 안정화시킨다.
• 지수적 특징 투영 공간에서 가장 가까운 클래스 간 유사도의 평균을 초과하도록 클래스 내 코사인 유사도를 강제하는 더 고급 손실(DLMC)을 제안한다.
• 수치적 안정성을 유지하면서도 분류 능력을 향상시키기 위해 정규화된 지수적 특징 투영 공간을 사용한다.

실험 결과

연구 질문

• RQ1 훈련 중에 최소 클래스 내 코사인 유사도 마진을 강제하면 얼굴 인식 성능이 향상되는가?
• RQ2 하드 샘플 마이닝은 제안된 각도 기반 마진 손실의 효과성을 향상시키는가?
• RQ3 자기 적응형 마진 전략은 성능을 유지하거나 향상시키면서 인간의 간섭을 줄일 수 있는가?
• RQ4 정규화된 특징 공간에서 클래스 내 밀집도와 클래스 간 분리도를 동시에 모델링하면 비제약 조건 하의 얼굴 인식에서 특징의 분류 가능성이 어떻게 향상되는가?
• RQ5 제안된 손실 함수는 자세, 조명, 표정 변화 수준이 다양한 다양한 데이터셋에 잘 일반화되는가?

주요 결과

• 제안된 방법은 표준 소프트맥스 손실 대비 LFW 데이터셋에서 0.6%에서 0.8%의 정확도 향상을 달성한다.
• YTF 데이터셋에서는 기준 방법 대비 1%에서 1.5%의 성능 향상을 기록한다.
• DLMC 방법은 IJB-A 데이터셋에서 랭크-1 식별률 97.34%를 달성하여 NormFace 및 L-Softmax와 같은 최신 기준 방법들을 능가한다.
• IJB-A에서 FAR=0.01일 때 ROC AUC는 DLMC 방법에서 86.02%에 도달하여 강력한 검증 성능을 보였다.
• 자기 적응형 마진 전략은 수동 마진 조정이 크게 줄어들었으며 정확도를 유지하거나 향상시켰다.
• 정규화된 손실(NLMC)과 DLMC+MALMC 조합 버전은 모든 세 가지 벤치마크 데이터셋에서 뛰어난 강인성과 일관된 성능 향상을 보였다.