[논문 리뷰] SoftTriple Loss: Deep Metric Learning Without Triplet Sampling

Qi Qian, Lei Shang외 4명|arXiv (Cornell University)|2019. 09. 11.

Face recognition and analysis참고 문헌 28인용 수 93

한 줄 요약

SoftTriple 손실은 클래스당 여러 센터와 매끄러운 유사도를 사용하여 삼중 샘플링 없이 심층 메트릭 학습을 가능하게 하여 세밀한 작업에서 임베딩 품질을 향상시킵니다.

ABSTRACT

Distance metric learning (DML) is to learn the embeddings where examples from the same class are closer than examples from different classes. It can be cast as an optimization problem with triplet constraints. Due to the vast number of triplet constraints, a sampling strategy is essential for DML. With the tremendous success of deep learning in classifications, it has been applied for DML. When learning embeddings with deep neural networks (DNNs), only a mini-batch of data is available at each iteration. The set of triplet constraints has to be sampled within the mini-batch. Since a mini-batch cannot capture the neighbors in the original set well, it makes the learned embeddings sub-optimal. On the contrary, optimizing SoftMax loss, which is a classification loss, with DNN shows a superior performance in certain DML tasks. It inspires us to investigate the formulation of SoftMax. Our analysis shows that SoftMax loss is equivalent to a smoothed triplet loss where each class has a single center. In real-world data, one class can contain several local clusters rather than a single one, e.g., birds of different poses. Therefore, we propose the SoftTriple loss to extend the SoftMax loss with multiple centers for each class. Compared with conventional deep metric learning algorithms, optimizing SoftTriple loss can learn the embeddings without the sampling phase by mildly increasing the size of the last fully connected layer. Experiments on the benchmark fine-grained data sets demonstrate the effectiveness of the proposed loss function. Code is available at https://github.com/idstcv/SoftTriple

연구 동기 및 목표

• 미니배치 한계로 인해 삼중 샘플링 없이 심층 메트릭 학습을 가능하게 하는 동기를 제시한다.
• 단일 센터 per 클래스의 smoothed triplet 손실로 SoftMax 손실을 분석한다.
• 다중 센터를 사용하여 클래스 간 변이 intra-class variance를 포착하는 SoftTriple 손실을 제안한다.
• 적응형 센터 전략을 개발하여 밀집한 센터 집합을 유지한다.
• 세밀한 데이터셋(CUB-2011, Cars196, SOP)에서 효과를 입증한다.

제안 방법

• SoftMax 손실을 클래스 센터를 갖는 매끄러운 트리플렛 손실로 재정의한다.
• 클래스당 다중 센터로 확장하고 센터들 중 최대값 위의 스무딩으로 클래스 전반의 유사도를 정의한다.
• 센터들 위의 엔트로피 규제 스무딩으로 HardTriple 유사한 소프트 손실을 얻는다.
• L2,1 정규화를 사용하여 유사한 센터를 합치고 밀집한 센터 집합을 유지하는 적응적 스킴을 제공한다.
• 삼중 샘플링 없이 SoftTriple 목표를 엔드투엔드로 최적화한다.
• 다양한 데이터셋에서 검색 및 클러스터링 지표로 임베딩을 평가한다.

실험 결과

연구 질문

• RQ1 SoftMax 손실을 중심을 갖는 매끄러운 삼중렬 손실로 해석할 수 있는가?
• RQ2 클래스당 다중 센터를 도입하면 클래스 내 분산을 더 잘 모델하고 삼중 샘플링 없이 검색/클러스터링을 개선하는가?
• RQ3 센터 수를 어떻게 선택하고 규제하여 성능을 보존하면서 compact를 유지할 것인가?
• RQ4 SoftTriple은 전통적인 삼중 샘플링 기반 방법과 비교하여 대규모의 미세한 데이터셋에서도 확장 가능하고 효과적인가?

주요 결과

방법	R@1	R@2	R@4	R@8	NMI
SemiHard	42.6	55.0	66.4	77.2	55.4
LiftedStruct	43.6	56.6	68.6	79.6	56.5
Clustering	48.2	61.4	71.8	81.9	59.2
Npairs ∗	51.0	63.3	74.3	83.2	60.4
ProxyNCA	49.2	61.9	67.9	72.4	59.5
SoftMax norm	57.8	70.0	80.1	87.9	65.3
SoftTriple	60.1	71.9	81.2	88.5	66.2

• SoftMax 표준은 이미 많은 메트릭 학습 방법보다 잘 작동하며, 매끄러운 삼중 갱신 해석을 시사한다.
• SoftTriple은 다중 센터를 활용함으로써 SoftMax norm보다 일관되게 개선된다.
• SoftTriple은 CUB-2011, Cars196, SOP에서 최첨단 혹은 경쟁력 있는 결과를 달성하며, R@1에서 종종 SoftMax norm보다 수치를 몇 포인트 앞선다.
• L2,1 정규화로 초기 센터 수를 크게 두면 밀집한 센터 집합과 안정적인 성능을 얻는다.
• 대형 임베딩을 가진 SoftTriple은 일반적으로 비교 방법을 능가한다, 예: CUB-2011 및 Cars196 표에서.
• 샘플링 단계를 제거하면서 검색/클러스터링 성능을 유지하거나 향상시킨다.