[논문 리뷰] Instance Cross Entropy for Deep Metric Learning

Xinshao Wang, Elyor Kodirov외 2명|arXiv (Cornell University)|2019. 11. 22.

Face recognition and analysis참고 문헌 63인용 수 5

한 줄 요약

이 논문은 깊이 있는 거리 학습을 위한 새로운 손실 함수인 인스턴스 교차 엔트로피(ICE)를 제안한다. 이는 확률적 해석을 통해 인스턴스 수준의 매칭 확률을 모델링하여 무한한 클래스로의 확장성을 가능하게 하고 일반화 성능를 향상시킨다. ICE는 세 가지 벤치마크에서 최신 기술(SOTA) 성능을 달성하며, 복잡한 샘플 마이닝 기반 방법들보다도 뛰어나게 성능을 냈고, 명시적인 데이터 잘라내기 없이도 원활한 샘플 재가중 기법을 통합하였다.

ABSTRACT

Loss functions play a crucial role in deep metric learning thus a variety of them have been proposed. Some supervise the learning process by pairwise or tripletwise similarity constraints while others take advantage of structured similarity information among multiple data points. In this work, we approach deep metric learning from a novel perspective. We propose instance cross entropy (ICE) which measures the difference between an estimated instance-level matching distribution and its ground-truth one. ICE has three main appealing properties. Firstly, similar to categorical cross entropy (CCE), ICE has clear probabilistic interpretation and exploits structured semantic similarity information for learning supervision. Secondly, ICE is scalable to infinite training data as it learns on mini-batches iteratively and is independent of the training set size. Thirdly, motivated by our relative weight analysis, seamless sample reweighting is incorporated. It rescales samples' gradients to control the differentiation degree over training examples instead of truncating them by sample mining. In addition to its simplicity and intuitiveness, extensive experiments on three real-world benchmarks demonstrate the superiority of ICE.

연구 동기 및 목표

• 기존의 깊이 있는 거리 학습 손실 함수의 한계, 특히 무한한 클래스로의 확장성 부족과 히우리스틱 샘플 마이닝에 대한 의존성 문제를 해결하기 위해.
• 미니배치 내 다수의 인스턴스 간의 구조적 유사성 정보를 활용하여 보다 향상된 감독을 제공하는 손실 함수를 개발하기 위해.
• 거리 마진 제약 조건과 명시적 샘플 마이닝의 필요성을 제거하기 위해, 미분 가능하고 기울기 기반의 재가중 메커니즘을 도입하기 위해.
• 고정된 내부 클래스 분산이나 외부 클래스 경계를 가정하지 않고도 실세계 벤치마크에서 뛰어난 성능을 달성하기 위해.

제안 방법

• ICE는 깊이 있는 거리 학습을 인스턴스 수준의 소프트맥스 회귀 문제로 재정의하여, 예측된 인스턴스 수준 매칭 분포와 진정값 간의 교차 엔트로피를 최소화한다.
• 특징을 단위 초구면에 투영함으로써, 명시적인 마진 제약 조건 없이도 각도 기반 임베딩 공간 학습이 가능하다.
• 단일 가중치 스케일링 하이퍼파rameter $ s $ 가 기울기 재스케일링을 통해 샘플 간의 구분 정도를 제어함으로써, 데이터 잘라내기 없이도 샘플 마이닝을 모방할 수 있다.
• 재가중 메커니즘은 예측 쌍 간의 상대적 가중치 분석에서 유도되며, $ s $ 가 증가할수록 더 어려운 샘플을 동적으로 강조한다.
• ICE는 클래스 수준의 프록시를 학습하지 않기 때문에, 무한한 훈련 클래스로의 본질적 확장성이 보장된다.
• 손실 함수는 추가 구성 요소 없이도 표준 백프로파게이션을 사용하여 엔드 투 엔드로 훈련되며, 유일한 하이퍼파rameter는 가중치 스케일링 파rameter뿐이다.

실험 결과

연구 질문

• RQ1 확률적이고 인스턴스 수준의 매칭 공식화는 무한한 클래스로의 확장성과 함께 깊이 있는 거리 학습 성능 향상에 기여할 수 있는가?
• RQ2 미니배치 내 다수의 인스턴스 간의 구조적 유사성 정보를 이중 또는 삼중 제약 조건에 의존하지 않고 효과적으로 감독에 활용할 수 있는가?
• RQ3 기울기 기반 재가중 기법은 깊이 있는 거리 학습에서 명시적 샘플 마이닝을 대체할 수 있는가? 만약 가능하다면 성능와 복잡성 측면에서 어떻게 비교되는가?
• RQ4 거리 마진 제약 조건을 제거하면, 내부 클래스 분산이 알려지지 않았거나 변동성이 있는 데이터셋에서 더 나은 일반화 성능를 달성할 수 있는가?

주요 결과

• ICE는 세 가지 실세계 벤치마크(SOP, CUB-200-2011, Cars-196)에서 모두 최고의 Recall@1 성능(77.3% on SOP)을 기록하였다.
• ICE의 성능는 최신 기술(RLL 방법, SOP에서 78.2% Recall@1)과 유사하지만, 훨씬 적은 하이퍼파rameter와 더 단순한 설계를 통해 성능를 달성하였다.
• s = 80일 경우 성능가 급격히 떨어지며, 이는 극도로 어려운 샘플(예: 이상치)에 과도하게 강조하는 것이 학습에 악영향을 준다는 것을 시사하며, 제어된 재가중 기법의 필요성을 강조한다.
• ICE는 ImageNet으로 미세조정된 표준 CCE보다 큰 폭으로 성능를 뛰어넘었으며, 이는 CCE가 클래스 수준의 프록시 학습과 확장성 부족으로 인해 DML에 부적합하다는 것을 입증한다.
• 보조 자료에 포함된 t-SNE 시각화 결과는 ICE가 기준 방법들보다 더 조밀하고 잘 분리된 임베딩을 학습한다는 것을 확인하였다.
• 평가된 방법들 중에서 ICE는 유일하게 명확한 확률적 해석을 가진 것으로, 대부분의 최신 기술 방법들과 달리 인스턴스 수준의 매칭 확률을 최대화한다.