[논문 리뷰] Constellation Loss: Improving the efficiency of deep metric learning loss functions for optimal embedding

Alfonso Medela, Artzai Picón|arXiv (Cornell University)|2019. 05. 25.

Video Surveillance and Tracking Methods참고 문헌 22인용 수 8

한 줄 요약

이 논문은 상호 클래스 간 거리의 동시에 최적화함으로써 임bedding 품질을 향상시키는 새로운 딥 메트릭 학습 손실 함수인 컨스텔레이션 손실을 제안한다. 이는 트리플릿 및 멀티클래스 N-페어 손실보다 뛰어난 클러스터링 및 분류 성능을 달성하며, 더 높은 정확도와 더 낮은 Davies-Bouldin 및 실루엣 스코어를 통해 더 단단하고 잘 분리된 클러스터를 나타낸다.

ABSTRACT

Metric learning has become an attractive field for research on the latest years. Loss functions like contrastive loss, triplet loss or multi-class N-pair loss have made possible generating models capable of tackling complex scenarios with the presence of many classes and scarcity on the number of images per class not only work to build classifiers, but to many other applications where measuring similarity is the key. Deep Neural Networks trained via metric learning also offer the possibility to solve few-shot learning problems. Currently used state of the art loss functions such as triplet and contrastive loss functions, still suffer from slow convergence due to the selection of effective training samples that has been partially solved by the multi-class N-pair loss by simultaneously adding additional samples from the different classes. In this work, we extend triplet and multiclass-N-pair loss function by proposing the constellation loss metric where the distances among all class combinations are simultaneously learned. We have compared our constellation loss for visual class embedding showing that our loss function over-performs the other methods by obtaining more compact clusters while achieving better classification results.

연구 동기 및 목표

• 기존 메트릭 학습 손실(예: 트리플릿 및 콘트라스트 손실)의 느린 수렴과 최적의 국소 최솟값이 아닌 해에 도달하는 문제를 해결한다.
• 멀티클래스 N-페어 손실의 한계를 극복한다. 이는 최적화 과정에서 음성 클래스 간의 거리를 무시한다는 점이다.
• 모든 상호 클래스 거리 관계를 동시에 학습함으로써 임베딩 품질을 향상시키는 손실 함수를 개발한다.
• 제안된 손실이 시민세이즈 네트워크와 같은 특수 아키텍처를 필요로 하지 않고도 더 나은 일반화 및 클러스터 분리도를 달성할 수 있음을 보여준다.
• 이미지 분류 및 클러스터링 작업에서 제안된 방법을 검증하여 최신 메트릭 학습 손실들보다 향상된 성능을 보여준다.

제안 방법

• 최적화 중에 모든 음성 클래스 간의 쌍별 거리를 통합함으로써 멀티클래스 N-페어 손실을 확장한 새로운 손실 함수인 컨스텔레이션 손실을 제안한다.
• 단일 포워드 패스 내에서 모든 클래스 조합에 대해 내부 클래스 거리 최소화와 외부 클래스 거리 최대화를 동시에 수행한다.
• 메모리 사용량을 줄이고 학습 효율을 향상시키기 위해 스마트한 배치 선택 전략을 사용하여 시민세이즈 네트워크 아키텍처의 필요성을 제거한다.
• 미니배치 내 모든 클래스 쌍에 걸쳐 트리플릿 유사 제약 조건을 집계하는 가역적 함수로 손실를 수식화한다.
• 확률적 경사 하강법으로 훈련되는 표준 딥 네ural 네트워크에 손실를 통합하여 엔드 투 엔드 학습을 가능하게 한다.
• 학습된 임베딩 공간의 분석을 위해 t-SNE 시각화를 적용하여 클러스터의 밀도와 분리도를 평가한다.

실험 결과

연구 질문

• RQ1 모든 상호 클래스 거리를 동시에 최적화하는 메트릭 학습 손실이 트리플릿 및 N-페어 손실에 비해 임베딩 품질을 향상시킬 수 있는가?
• RQ2 컨스텔레이션 손실은 Davies-Bouldin 및 실루엣 지수로 측정된 클러스터링 성능 향상에 기여하는가?
• RQ3 컨스텔레이션 손실은 트리플릿 및 멀티클래스 N-페어 손실에 비해 훈련 안정성과 수렴 속도 측면에서 더 낫게 작용하는가?
• RQ4 제안된 손실이 시민세이즈 또는 콘트라스트 네트워크 아키텍처에 의존하지 않고도 더 높은 분류 정확도를 달성할 수 있는가?
• RQ5 이미지 임베딩 작업에서 최적의 성능을 내기 위해 컨스텔레이션 손실에 포함시킬 적절한 클래스 수(K)는 얼마인가?

주요 결과

• 컨스텔레이션 손실은 K=6일 때 분류 정확도 92.96% ± 0.51을 기록하여 트리플릿 손실(91.74% ± 0.68)과 멀티클래스 N-페어 손실(91.48% ± 0.92)을 모두 초월했다.
• 컨스텔레이션 손실은 K=4일 때 Davies-Bouldin 지수 0.4218 ± 0.0589를 기록하여 트리플릿(0.6384 ± 0.0773)과 N-페어(0.6037 ± 0.0386) 손실보다 유의미하게 더 나은 클러스터 분리도를 나타냈다.
• 컨스텔레이션 손실은 K=6일 때 실루엣 스코어 0.7905 ± 0.0134를 기록하여 다른 방법들에 비해 더 단단하고 잘 분리된 클러스터를 나타냈다.
• 컨스텔레이션 손실은 더 안정적인 훈련 동역학을 보였으며, 트리플릿 손실에서 관찰된 불안정한 변화와는 달리 훈련 및 검증 손실이 매끄럽게 수렴했다.
• 제안된 방법은 표준 소프트맥스 크로스엔트로피 기반 모델보다 더 뛰어난 성능을 달성하여, 소수의 샘플 학습 및 유사한 소수 샘플 학습 시나리오에서의 효과성을 확인했다.
• t-SNE 시각화 결과, 컨스텔레이션 손실로 학습된 임베딩은 모든 클래스에서 가장 단단하고 잘 분리된 클러스터를 형성하는 것으로 확인되었다.