[논문 리뷰] No Fuss Distance Metric Learning using Proxies

Yair Movshovitz-Attias, Alexander Toshev외 3명|arXiv (Cornell University)|2017. 03. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 13인용 수 58

한 줄 요약

Proxy-NCA는 학습 가능한 프록시 포인트들의 프록시 공간을 최적화하여 거리 측정값을 학습하고, 표준 데이터셋에서 더 빠른 수렴과 제로샷 성능의 최신 상태를 달성합니다.

ABSTRACT

We address the problem of distance metric learning (DML), defined as learning a distance consistent with a notion of semantic similarity. Traditionally, for this problem supervision is expressed in the form of sets of points that follow an ordinal relationship -- an anchor point $x$ is similar to a set of positive points $Y$, and dissimilar to a set of negative points $Z$, and a loss defined over these distances is minimized. While the specifics of the optimization differ, in this work we collectively call this type of supervision Triplets and all methods that follow this pattern Triplet-Based methods. These methods are challenging to optimize. A main issue is the need for finding informative triplets, which is usually achieved by a variety of tricks such as increasing the batch size, hard or semi-hard triplet mining, etc. Even with these tricks, the convergence rate of such methods is slow. In this paper we propose to optimize the triplet loss on a different space of triplets, consisting of an anchor data point and similar and dissimilar proxy points which are learned as well. These proxies approximate the original data points, so that a triplet loss over the proxies is a tight upper bound of the original loss. This proxy-based loss is empirically better behaved. As a result, the proxy-loss improves on state-of-art results for three standard zero-shot learning datasets, by up to 15% points, while converging three times as fast as other triplet-based losses.

연구 동기 및 목표

• 트립렛 기반 거리 학습의 비효율성과 저조한 수렴 문제를 해결한다
• 학습 데이터를 대표하는 작고 학습 가능한 프록시 세트를 도입한다
• 원래의 트립렛 손실을 상한하는 프록시 기반 랭킹/NCA 손실을 공식화한다
• 프록시로 학습하면 수렴 속도가 빨라지면서 서수 관계를 보존하는지 보여준다
• 제로샷 학습 벤치마크에서 최첨단 성능을 입증한다

제안 방법

• 프록시 P를 정의하여 각 x가 그것과 가까운 프록시 p(y)를 가지도록 교육 데이터를 근사한다
• (x, y, z) 트리플렛을 (x, p(y), p(z)) 프록시 트리플렛으로 대체하고 프록시 기반 손실을 최적화한다
• 노름 제약하에서 프록시 기반 손실이 NCA 및 트리플렛 손실 같은 고전적 손실을 상한함을 증명한다
• 프록시를 모델 파라미터로 포함하여 엔드 투 엔드로 학습하고, 프록시를 위한 메모리 공유로 샘플링 복잡성을 피한다
• 정적 프록시 배정(의미적 라벨에 의한)과 동적 프록시 배정(가장 가까운 프록시) 전략을 제공한다
• 경계 제약에 대한 선택적 스케일링이 가능한, 소형 프록시 집합을 갖는 교차 엔트로피와 유사한 프록시-NCA 손실을 활용한다
• 고정 및 동적 프록시 할당으로 실험하고 수렴 및 Recall/NMI 지표를 분석한다

실험 결과

연구 질문

• RQ1 소수의 학습 가능한 프록시 세트가 원래의 트리플렛/NCA 손실을 충실히 상한할 수 있는가?
• RQ2 프록시 기반 DML은 전통적 트리플렛 기반 방법보다 더 빠르게 수렴하는가?
• RQ3 프록시가 데이터 포인트 간의 원하는 서수 관계를 보존하는가?
• RQ4 표준 데이터셋에서 제로샷 검색 및 클러스터링에서 Proxy-NCA의 성능은 어떠한가?
• RQ5 성능에 대한 정적 대 동적 프록시 배정의 효과는 어떤가?

주요 결과

• Proxy-NCA는 Cars196에서 벤치마크 트리플렛 기반 손실보다 약 3배 더 빠르게 수렴한다.
• Proxy-NCA는 Cars196에서 이전 SOTA 대비 Recall@1에서 최대 15pp 향상을 달성한다.
• 합리적인 노름 제약 하에서 프록시 기반 손실은 NCA 및 트리플렛 손실과 같은 전통적 손실에 대해 촘촘한 상한을 제공한다.
• Proxy-NCA는 CUB200, Cars196, Stanford Online Products 데이터셋에서 제로샷 최첨단 결과를 달성한다.
• 수백에서 수천에 이르는 소규모 프록시 세트를 사용하면 강력한 성능을 얻으면서 메모리 사용이 적당하다.
• 프록시가 의미 라벨과 일치할 때 정적 프록시 배정이 이전 방법과 동등하거나 더 우수해질 수 있으며, 라벨이 없을 때는 동적 배정이 여전히 효과적이다.