[논문 리뷰] Additive Margin Softmax for Face Verification

Wang Feng, Weiyang Liu외 2명|arXiv (Cornell University)|2018. 01. 17.

Face recognition and analysis인용 수 14

한 줄 요약

이 논문은 특성 벡터와 가중치 벡터 간의 각도余弦에서 스칼라 마진 $ m $ 를 빼는 방식으로 큰 각도 마진을 강제하는 새로운 손실 함수인 Additive Margin Softmax(AM-Softmax)를 제안한다. 특성 및 가중치 정규화를 결합한 추가 마진 전략을 통해, 동일한 학습 및 네트워크 조건에서 기존의 A-Softmax와 같은 방법들을 능가하는 LFW 및 MegaFace 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we propose a conceptually simple and geometrically interpretable objective function, i.e. additive margin Softmax (AM-Softmax), for deep face verification. In general, the face verification task can be viewed as a metric learning problem, so learning large-margin face features whose intra-class variation is small and inter-class difference is large is of great importance in order to achieve good performance. Recently, Large-margin Softmax and Angular Softmax have been proposed to incorporate the angular margin in a multiplicative manner. In this work, we introduce a novel additive angular margin for the Softmax loss, which is intuitively appealing and more interpretable than the existing works. We also emphasize and discuss the importance of feature normalization in the paper. Most importantly, our experiments on LFW BLUFR and MegaFace show that our additive margin softmax loss consistently performs better than the current state-of-the-art methods using the same network architecture and training dataset. Our code has also been made available at https://github.com/happynear/AMSoftmax

연구 동기 및 목표

• 딥 얼굴 인식을 위한 더 해석 가능하고 효과적인 대규모 마진 손실 함수를 개발하기.
• 기존의 곱셈 또는 복잡한 각도 마진 공식을 사용하는 마진 기반 손실 함수의 한계를 해결하기.
• 기하학적으로 직관적인 추가 마진 전략을 통해 반복 클래스의 응집도를 향상시키고 이면 클래스의 분리도를 높이기.
• 동일한 네트워크와 학습 데이터를 사용하여 최신 기술 수준의 방법들보다 일관된 성능 향상을 입증하기.
• 특성 정규화가 특히 저품질 데이터셋인 MegaFace와 같은 경우에 강건성을 향상시키는 데서 중요한 역할을 한다는 것을 강조하기.

제안 방법

• 손실 함수에 직접 적용되는 $ \cos\theta - m $ 형태의 새로운 마진 전략을 제안하며, 여기서 $ m $ 는 학습 가능한 스칼라 마진이다.
• 기하학적으로 일관된 방식으로 마진을 적용하기 위해 특성 및 가중치 벡터 정규화를 구현한다.
• 로그릿의 크기를 제어하기 위해 고정된 스케일 $ s = 30 $ 을 사용하며, 주로 마진 $ m $ 를 주요 초모수로 삼는다.
• CASIA-WebFace 데이터셋을 사용하여 20층의 ResNet 기반 얼굴 인식 모델을 엔드 투 엔드로 학습하는 동안 손실 함수를 적용하며, 이미지 반전을 통한 데이터 증강을 실시한다.
• 추론 시 코사인 유사도를 사용하고, 원본 이미지와 반전 이미지의 특성 평균을 취해 강건성을 향상시킨다.
• 공정한 오픈 세트 평가를 위해 LFW 및 MegaFace의 훈련 및 테스트 데이터셋 간의 겹침을 제거한다.

실험 결과

연구 질문

• RQ1 손실 함수 내에서 더 단순한 추가 마진 전략이 기존의 곱셈 마진 접근 방식보다 얼굴 인식 성능에서 뛰어나게 되는가?
• RQ2 특성 정규화는 마진 기반 손실 함수의 일반화 및 강건성에 어떤 영향을 미치며, 특히 저품질 데이터셋에서 어떤가?
• RQ3 추가 마진 $ m $ 의 최적 값은 무엇이며, 이는 오픈 세트 벤치마크에서 성능에 어떤 영향을 미치는가?
• RQ4 제안된 AM-Softmax 손실 함수는 이전 방법들과 동일한 조건에서 학습된 경우 최신 기술 수준의 성능을 달성하는가?
• RQ5 추가 마진 전략은 복잡한 조각별 각도 마진 함수에 비해 더 해석 가능하고 효과적인가?

주요 결과

• AM-Softmax는 동일한 학습 및 네트워크 설정에서 LFW BLUFR 프로토콜에서 99.38%의 정확도를 달성하여 이전 최신 기술 수준의 방법들을 능가한다.
• MegaFace Set 1에서, 데이터셋 겹침을 제거한 후 AM-Softmax는 랭크-1 정확도 72.47%와 인증률 84.44%를 기록하여 오픈 세트 평가에서 강건성을 입증한다.
• 최적의 마진 값은 $ m = 0.35 $ 로 확인되었으며, $ m $ 가 0.4를 초과하면 성능이 저하됨을 관찰했다.
• 특성 정규화는 MegaFace에서 성능 향상에 크게 기여하지만, 고품질의 LFW에서는 정규화하지 않은 특성을 사용할 경우 더 좋은 결과를 얻는다.
• CMC 및 ROC 곡선 모두에서 AM-Softmax는 A-Softmax, Center Loss, NormFace를 모두 능가하며, 특히 낮은 랭크와 낮은 양성 오류 비율에서 두드러진 성능 향상을 보였다.
• 제거 분석 결과, 실무에서 추가 마진 전략이 곱셈 또는 복잡한 각도 마진 공식보다 더 효과적임을 확인했다.