[논문 리뷰] Loss Function Search for Face Recognition

Xiaobo Wang, Shuo Wang외 3명|arXiv (Cornell University)|2020. 07. 10.

Face and Expression Recognition인용 수 29

한 줄 요약

이 논문은 소프트맥스 확률을 감소시킴으로써 특징의 분리도를 향상시켜, 얼굴 인식에서 최적의 마진 기반 소프트맥스 손실 함수를 학습하기 위한 리워드 유도 탐색 방법을 제안한다. 저자들은 단일의 파라미터로 소프트맥스 확률을 제어하는 통합된 수식을 제안하여 간소화된 탐색 공간을 구축함으로써, 수작업으로 설계된 손실 함수와 AM-LFS와 같은 AutoML 방법을 초월하는 효율적인 최적화를 가능하게 하였다. 이는 MegaFace 및 트릴리언 페어스를 포함한 다양한 벤치마크에서 성능을 입증하였다.

ABSTRACT

In face recognition, designing margin-based (e.g., angular, additive, additive angular margins) softmax loss functions plays an important role in learning discriminative features. However, these hand-crafted heuristic methods are sub-optimal because they require much effort to explore the large design space. Recently, an AutoML for loss function search method AM-LFS has been derived, which leverages reinforcement learning to search loss functions during the training process. But its search space is complex and unstable that hindering its superiority. In this paper, we first analyze that the key to enhance the feature discrimination is actually extbf{how to reduce the softmax probability}. We then design a unified formulation for the current margin-based softmax losses. Accordingly, we define a novel search space and develop a reward-guided search method to automatically obtain the best candidate. Experimental results on a variety of face recognition benchmarks have demonstrated the effectiveness of our method over the state-of-the-art alternatives.

연구 동기 및 목표

• 마진 기반 소프트맥스 손실 함수가 얼굴 인식 성능을 향상시키는 데 핵심이 되는 근본 원리를 규명하는 것.
• 광범위하고 불안정한 설계 공간으로 인해 전문가의 수작업 조정이 필요하고, 최적화되지 않은 수작업 히ュ리스틱 손실 함수의 한계를 해결하는 것.
• AM-LFS와 같은 기존 AutoML 방법의 불안정성과 복잡성을 해결하기 위해 더 단순하고 효과적인 탐색 공간을 설계하는 것.
• 학습 중에 동적으로 손실 함수 파라미터를 최적화하여 특징의 분리도를 향상시키는 리워드 유도 탐색 프레임워크를 개발하는 것.
• racial bias 및 초대규모 인식을 측정하는 등 다양한 도전적인 얼굴 인식 벤치마크에서 제안된 방법의 유효성을 검증하는 것.

제안 방법

• 모든 마진 기반 소프트맥스 손실 함수를 소프트맥스 확률을 제어하는 단일 파라미터로 통합하는 수학적 공식을 제안한다.
• 소프트맥스 확률을 제어하기 위해 마진 파라미터를 조정하는 데 중심을 두어 강력한 특징 분리도를 보장하는 새로운 단순화된 탐색 공간을 정의한다.
• 랜덤 탐색 기반선과 검증 성능을 리워드 신호로 사용하여 손실 함수 샘플링을 유도하는 리워드 기반 탐색 전략을 도입한다.
• 각 학습 에포크에서 리워드 피드백에 기반해 손실 함수 후보의 분포를 동적으로 업데이트하는 효율적인 최적화 프레임워크를 개발한다.
• 손실 함수 적응을 위한 미분 가능 탐색 메커니즘을 활용하여 수동 하이퍼파라미터 조정 없이 엔드 투 엔드 학습을 가능하게 한다.
• 학습된 동적 샘플링 마진 파라미터를 사용하여 교차 엔트로피 손실을 적용함으로써, 내부 클래스의 응집도와 외부 클래스의 분리도가 향상된 깊이 신경망 얼굴 인식 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 마진 기반 소프트맥스 손실 함수가 얼굴 인식 성능을 향상시키는 데 기여하는 근본적인 메커니즘은 무엇인가?
• RQ2 기존 AutoML 접근 방식과 비교해 안정성과 효과성을 향상시키기 위해 손실 함수 탐색의 설계 공간은 어떻게 단순화될 수 있는가?
• RQ3 명시적으로 소프트맥스 확률을 최소화하는 리워드 기반 탐색 전략이 수작업 및 AutoML 기반 손실 함수를 능가할 수 있는가?
• RQ4 제안된 방법이 극단적인 클래스 불균형 또는 인종 편향을 포함한 다양한 얼굴 인식 벤치마크에서 얼마나 일반화되는가?
• RQ5 소프트맥스 확률을 감소시키는 것이 다양한 훈련 데이터 분포에서 더 강건하고 분리도가 높은 특징 학습을 이끌어내는가?

주요 결과

• 얼굴 인식에서 특징의 분리도를 향상시키는 데 핵심은 마진을 증가시키는 것이 아니라 소프트맥스 확률을 감소시키는 것이다.
• CASIA-WebFace-R 데이터셋을 기반으로 한 MegaFace 벤치마크에서 제안된 Search-Softmax 손실은 96.97%의 Rank-1 정확도를 달성하여 AM-Softmax(96.77%)와 AM-LFS(92.51%)를 모두 능가하였다.
• 트릴리언 페어스 벤치마크에서 Search-Softmax는 CASIA-WebFace-R에서 훈련된 경우, 검증 성능 기준 TPR@FAR=1e-6에서 70.41%를 기록하여 기준 손실(Softmax loss) 대비 4% 향상된 성능을 보였다.
• 모든 RFW 서브셋(Caucasian, Indian, Asian, African)에서 수작업 손실 함수 및 AM-LFS를 포함한 모든 기준선보다 일관되게 뛰어난 성능을 보이며, 인종 편향에 대한 강건성을 입증하였다.
• 랜덤 탐색 대비 리워드 기반 탐색 전략이 성능 향상에 크게 기여하였으며, Search-Softmax는 트릴리언 페어스에서 68.67%의 TPR@FAR=1e-6 성능을 기록한 반면, Random-Softmax는 68.03%를 기록하였다.
• 제안된 방법은 강력한 일반화 능력을 보이며, 특히 매우 낮은 거짓 양성률에서의 성능을 고려할 때, 식별 및 검증 작업 모두에서 최신 기술(SOTA) 성능을 달성하였다.