[논문 리뷰] Proxy Anchor Loss for Deep Metric Learning

Sung‐Yeon Kim, Dong-Won Kim외 2명|arXiv (Cornell University)|2020. 03. 31.

Face recognition and analysis참고 문헌 40인용 수 8

한 줄 요약

이 논문은 프록시 기반 방법의 빠른 수렴성과 쌍 기반 방법의 풍부한 데이터 간 관계를 결합한 새로운 딥 메트릭 학습 손실인 Proxy-Anchor 손실을 제안한다. 프록시를 앵커로 사용하고 데이터 간 상대적 난이도를 활용함으로써, 수동 튜플 샘플링이 필요 없이 빠른 수렴성과 노이즈에 대한 강건성을 확보하면서도 네 가지 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Existing metric learning losses can be categorized into two classes: pair-based and proxy-based losses. The former class can leverage fine-grained semantic relations between data points, but slows convergence in general due to its high training complexity. In contrast, the latter class enables fast and reliable convergence, but cannot consider the rich data-to-data relations. This paper presents a new proxy-based loss that takes advantages of both pair- and proxy-based methods and overcomes their limitations. Thanks to the use of proxies, our loss boosts the speed of convergence and is robust against noisy labels and outliers. At the same time, it allows embedding vectors of data to interact with each other in its gradients to exploit data-to-data relations. Our method is evaluated on four public benchmarks, where a standard network trained with our loss achieves state-of-the-art performance and most quickly converges.

연구 동기 및 목표

• 딥 메트릭 학습에서 학습 속도와 풍부한 감독 신호 사이의 상충 관계를 해결하기 위해.
• 쌍 기반 손실의 높은 복잡도로 인한 느린 수렴성과 프록시 기반 손실의 제한된 데이터 간 관계 활용 문제를 해결하기 위해.
• 프록시 기반 최적화를 통해 세밀한 데이터 간 관계를 포착하면서도 신속하고 신뢰할 수 있는 수렴을 가능하게 하는 손실을 개발하기 위해.
• 수동 튜플 샘플링이나 하이퍼파rameter 조정 없이 공개 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 손실은 프록시를 앵커로 사용하고, 각 프록시를 배치 내의 모든 데이터 포인트와 연관지워, 각 데이터 포인트를 프록시와 연관시키는 방식이 아니다.
• 각 프록시에 대해, 동일 클래스의 데이터와의 거리는 최소화하고, 다른 클래스의 데이터와의 거리는 최대화하며, 마진 기반 대비 목적을 사용한다.
• 기울기는 상대적 난이도에 의해 가중되며, 이는 데이터 포인트가 프록시에 비해 상대적으로 얼마나 가까운지를 기반으로 결정된다. 이를 통해 데이터 간 관계 모델링이 가능하다.
• 손실는 미분 가능하고 엔드 투 엔드로 학습 가능하므로, 네트워크 가중치와 프록시 임베딩을 함께 최적화할 수 있다.
• 손실의 마진과 부드러움을 제어하기 위해 두 개의 하이퍼파rameter인 α(마진 스케일링)와 δ(온도)를 도입한다.
• 프록시 기반 감독을 통해 배치 전체의 데이터 상호작용을 활용함으로써 튜플 샘플링을 피한다.

실험 결과

연구 질문

• RQ1 프록시 기반 손실이 학습 속도를 희생시키지 않고도 쌍 기반 손실의 풍부한 감독 신호를 달성할 수 있는가?
• RQ2 프록시 기반 프레임워크에서 데이터 간 관계를 효과적으로 모델링하여 임베딩 품질을 향상시킬 수 있는가?
• RQ3 제안된 손실이 기존 방법보다 더 빠른 수렴성과 노이즈 레이블 및 아웃라이어에 대한 더 높은 강건성을 확보할 수 있는가?
• RQ4 배치 크기와 임베딩 차원의 크기가 제안된 손실의 성능에 어떤 영향을 미치는가?

주요 결과

• CUB-200-2011 및 Cars-196 데이터셋에서 배치 크기가 150일 때, 각각 Recall@1이 68.6%와 86.4%를 기록하며 이전 방법들을 능가한다.
• SOP 및 In-Shop 데이터셋에서 배치 크기가 150일 때 79.1%와 91.9%의 Recall@1을 기록하며, 배치 크기가 300일 땐 각각 79.3%와 92.0%로 향상된다.
• 임베딩 차원 ≥128에서 안정적인 성능을 보이며, 특히 MS 손실이 저하되는 고차원 설정에서 MS 손실을 능가한다.
• α ≥ 16일 경우 모델 성능이 안정적이며 하이퍼파rameter 조정에 민감하지 않아 최적화 없이도 최신 기술 수준의 결과를 달성한다.
• 모든 기준선(Proxy-NCA 및 트리플릿 손실 포함)보다 빠른 수렴을 보이며, Cars-196에서의 학습 시간 대비 정확도 곡선을 통해 이를 입증한다.
• δ를 증가시키면 성능이 약간 향상되지만, 이 효과는 α가 클 때 가장 두드러지며, 이는 두 하이퍼파rameter 간 상호보완적 작용이 있음을 시사한다.