[논문 리뷰] Deep Metric Learning with Spherical Embedding

Dingyi Zhang, Yingming Li외 1명|arXiv (Cornell University)|2020. 11. 05.

Face recognition and analysis참고 문헌 35인용 수 16

한 줄 요약

이 논문은 깊이 있는 거리 학습에서 임bedding 노름의 분산을 적응적으로 줄이는 새로운 정규화 방법인 구면 임베딩 제약(Spherical Embedding Constraint, SEC)을 제안한다. 이는 임베딩가 동일한 초구면 위에 위치하도록 보장함으로써, 기울기 업데이트를 안정화시켜 방향 기반 최적화를 향상시킨다. 이로 인해 얼굴 인식, 깊이 있는 거리 학습, 자기지도 학습 벤치마크 전반에서 성능 향상이 뚜렷하게 나타난다.

ABSTRACT

Deep metric learning has attracted much attention in recent years, due to seamlessly combining the distance metric learning and deep neural network. Many endeavors are devoted to design different pair-based angular loss functions, which decouple the magnitude and direction information for embedding vectors and ensure the training and testing measure consistency. However, these traditional angular losses cannot guarantee that all the sample embeddings are on the surface of the same hypersphere during the training stage, which would result in unstable gradient in batch optimization and may influence the quick convergence of the embedding learning. In this paper, we first investigate the effect of the embedding norm for deep metric learning with angular distance, and then propose a spherical embedding constraint (SEC) to regularize the distribution of the norms. SEC adaptively adjusts the embeddings to fall on the same hypersphere and performs more balanced direction update. Extensive experiments on deep metric learning, face recognition, and contrastive self-supervised learning show that the SEC-based angular space learning strategy significantly improves the performance of the state-of-the-art.

연구 동기 및 목표

• 깊이 있는 거리 학습에서 각도 거리 최적화에 대한 임베딩 노름 분포의 영향을 조사하는 것.
• 배치 최적화 중 임베딩 노름의 큰 분산으로 인한 기울기 업데이트의 불안정성 문제를 해결하는 것.
• 공통 초구면 위에 위치하도록 임베딩를 제약함으로써 각도 손실 함수에서 방향 업데이트의 균형을 향상시키는 것.
• 손실 아키텍처를 수정하지 않고 최신 깊이 있는 거리 학습 모델의 일반화 능력과 수렴성을 향상시키는 것.

제안 방법

• 각 미니배치에서 임베딩의 L2 노름을 적응적으로 조정하여 분산을 줄이는 구면 임베딩 제약(Spherical Embedding Constraint, SEC)을 제안한다.
• SEC는 각 미니배치 내 모든 임베딩을 평균 L2 노름과 동일한 노름을 갖도록 정규화하여 초구면에서 균일성을 확보한다.
• 이 방법은 아키텍처 변경 없이도 최종 임베딩 레이어 뒤에 적용 가능한 경량이고 미분 가능한 정규화 레이어로 작동한다.
• 기존의 쌍 기반 각도 손실 함수(예: 트리플릿, N-패어, 멀티유사성)와 함께 SEC를 통합하여 학습 안정성과 성능을 향상시킨다.
• 백프로파게이션 기간 동안 제약 조건을 적용하여 초기 노름이 다른 샘플 간 기울기 업데이트가 균형 잡히도록 보장한다.
• 고정된 값으로 노름을 고정하지 않고, 모델의 유연성을 유지하면서도 적응적인 정규화를 허용한다.

실험 결과

연구 질문

• RQ1 임베딩 노름의 분포는 깊이 있는 거리 학습에서 각도 기반 최적화의 기울기 안정성과 최적화 효율성에 어떤 영향을 미치는가?
• RQ2 임베딩 노름의 분산을 줄임으로써 최신의 각도 기반 손실 함수가 깊이 있는 거리 학습에서 성능 향상에 기여할 수 있는가?
• RQ3 임베딩를 공통 초구면 위에 위치하도록 강제하면 방향 업데이트가 더 균형 잡히고 수렴 속도가 빨라지는가?
• RQ4 SEC는 얼굴 인식 및 자기지도 학습과 같은 다양한 작업에서 성능 향상에 어느 정도 기여하는가?
• RQ5 일반화 능력과 강건성 측면에서 L2 정규화와 같은 다른 정규화 기법과 비교해보았을 때 SEC는 어떻게 다른가?

주요 결과

• 그림 1에서 볼 수 있듯이, SEC는 훈련 중에 임베딩 노름의 분산을 크게 줄여주며, 기존의 각도 기반 손실과 비교해 노름 분포가 훨씬 더 좁아진다.
• CUB200-2011 및 Cars196 데이터셋에서 SEC는 트리플릿 손실 성능을 최상위 1위 정확도 기준 최대 1.5% 향상시키며, 모든 평가 지표에서 일관된 성능 향상을 보였다.
• LFW, MegaFace, CFPFP에서 얼굴 인식을 수행한 결과, 최고 성능을 기록한 Arcface 모델이 SEC를 적용한 결과 99.35%의 정확도를 기록했으며(SEC 미적용 시 99.32%), 더 큰 배경 샘플 집합에서 성능 향상이 더욱 두드러졌다.
• SimCLR 자기지도 학습 기반 CIFAR-10 및 CIFAR-100 데이터셋에서 SEC는 기준 NT-Xent 대비 선형 평가 최상위 1위 정확도를 0.21~0.30 포인트 향상시켰다.
• SEC와 멀티유사성 손실을 조합한 결과, 10^6개의 배경 샘플이 존재하는 MegaFace에서 99.35%의 정확도를 달성했으며, 기본 모델 및 L2 정규화 변형보다 뛰어난 성능을 보였다.
• SEC는 평가된 모든 손실 함수와 데이터셋에서 일관되게 성능 향상을 이끌어내어 다양한 깊이 있는 거리 학습 환경에서 일반화 능력과 강건성을 입증했다.