[논문 리뷰] Multi-Similarity Loss with General Pair Weighting for Deep Metric Learning

Xun Wang, Xintong Han외 3명|arXiv (Cornell University)|2019. 04. 14.

Advanced Image and Video Retrieval Techniques참고 문헌 6인용 수 105

한 줄 요약

이 논문은 쌍 기반 딥 메트릭 학습을 위한 General Pair Weighting (GPW) 프레임워크를 소개하고, Self-, Positive-relative, Negative-relative 유사도를 공동으로 활용하여 정보를 갖춘 쌍을 채굴하고 가중치를 부여하는 Multi-Similarity (MS) 손실을 제안하며, 여러 이미지 검색 벤치마크에서 새로운 최첨단 결과를 달성한다.

ABSTRACT

A family of loss functions built on pair-based computation have been proposed in the literature which provide a myriad of solutions for deep metric learning. In this paper, we provide a general weighting framework for understanding recent pair-based loss functions. Our contributions are three-fold: (1) we establish a General Pair Weighting (GPW) framework, which casts the sampling problem of deep metric learning into a unified view of pair weighting through gradient analysis, providing a powerful tool for understanding recent pair-based loss functions; (2) we show that with GPW, various existing pair-based methods can be compared and discussed comprehensively, with clear differences and key limitations identified; (3) we propose a new loss called multi-similarity loss (MS loss) under the GPW, which is implemented in two iterative steps (i.e., mining and weighting). This allows it to fully consider three similarities for pair weighting, providing a more principled approach for collecting and weighting informative pairs. Finally, the proposed MS loss obtains new state-of-the-art performance on four image retrieval benchmarks, where it outperforms the most recent approaches, such as ABE\cite{Kim_2018_ECCV} and HTL by a large margin: 60.6% to 65.7% on CUB200, and 80.9% to 88.0% on In-Shop Clothes Retrieval dataset at Recall@1. Code is available at https://github.com/MalongTech/research-ms-loss.

연구 동기 및 목표

• 그래디언트 분석을 통해 심층 메트릭 학습의 샘플링 문제를 일반 쌍 가중 프레임워크(GPW)로 전환한다.
• GPW를 통해 기존의 쌍 기반 손실들을 분석하고 비교하여 주요 유사점과 한계를 확인한다.
• 세 가지 유형의 유사도를 쌍 가중치에 활용하기 위해 두 단계의 반복적 절차(마이닝과 가중치 부여)를 갖는 Multi-Similarity(MS) 손실을 도입한다.
• 표준 벤치마크(CUB200, Cars-196, SOP, In-Shop)에서 최첨단 이미지 검색 성능을 입증한다.

제안 방법

• 단위 구(Sphere) 임베딩에서 쌍 간 유사도의 가중합으로 쌍 기반 손실을 표현하기 위해 GPW를 정의한다.
• 세 가지 유형의 쌍 간 유사도: Self-similarity(S), Positive-relative similarity(P), Negative-relative similarity(N)을 식별한다.
• Similarity-P를 기반으로 정보가 있는 쌍을 마이닝하는 1단계와, 마이닝된 쌍을 Similarity-S 및 Similarity-N으로 가중하는 2단계의 MS 손실을 제안하며, 식(13)과(14)를 사용한다.
• 양성 및 음성 쌍에 대한 벌점을 마이닝과 가중치를 결합한 MS 손실 공식(Eq. 15)을 제공한다.
• 이항 편차와 lifted structure 개념에서 파생된 두 가지 초매개변수 가중화 구성 요소를 사용하여 견고한 가중화를 수행한다.
• 네 개의 데이터셋(CUB200, Cars-196, SOP, In-Shop)에서 Inception 백본을 사용한 엔드투엔드 PyTorch 구현으로 MS 손실을 평가한다.

실험 결과

연구 질문

• RQ1 통합된 General Pair Weighting(GPW) 프레임워크가 기존의 쌍 기반 손실들을 설명하고 그 한계를 드러낼 수 있는가?
• RQ2 다중 측면 유사도(Self, Positive-relative, Negative-relative)가 심층 메트릭 학습에서 샘플링된 쌍의 정보성을 향상시키는가?
• RQ3 제안된 Multi-Similarity(MS) 손실이 표준 이미지 검색 벤치마크에서 기존의 쌍 기반 손실보다 우수한가?
• RQ4 MS에서 마이닝과 가중화를 통합하는 것이 개별 구성요소나 선행 손실의 단순 조합과 비교해 어떤 차이가 있는가?

주요 결과

• GPW를 갖춘 MS 손실이 여러 이미지 검색 벤치마크에서 최첨단 성능을 달성한다.
• CUB200에서 MS 손실은 최근 방법(ABE) 대비 Recall@1를 약 5퍼센트 포인트 향상시킨다.
• In-Shop에서 MS 손실은 HTL 대비 Recall@1이 약 7포인트 향상되었고, Recall@1에서 강한 이득이 확인된다(예: 80.9%에서 88.0%로).
• 임베딩 크기 128–512에서 MS 손실은 CUB200, Cars-196, SOP, In-Shop 데이터셋 전반에 걸쳐 일관되게 기준선 및 유사 방법보다 우수하다.
• 절제 연구는 마이닝과 가중치 부여에 Similarity-S, Similarity-P, Similarity-N을 포함시킬 때 Recall@K가 가장 높아지며, 부분 집합의 유사도만 사용하는 변형보다 우수함을 보여준다.
• MS 손실은 임베딩 크기에 걸쳐 효과적이며, 512 차원까지 증가 이득이 나타나고 그 이후에는 수익이 감소한다.