[논문 리뷰] Divide and Conquer the Embedding Space for Metric Learning

Artsiom Sanakoyeu, Vadim Tschernezki외 2명|arXiv (Cornell University)|2019. 06. 14.

Face and Expression Recognition참고 문헌 56인용 수 10

한 줄 요약

이 논문은 깊이 있는 거리 학습을 위한 분할 정복 접근법을 제안하며, 데이터와 임bedding 공간을 K개의 겹치지 않는 부분공간으로 나누어 각각에 대해 별도의 거리 메트릭을 학습한다. 부분문제 복잡도를 감소시키고 자연스러운 하드 네거티브 마이닝을 가능하게 함으로써, 다섯 개의 벤치마크 데이터셋에서 검색, 클러스터링, 재식별 작업 전반에 걸쳐 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Learning the embedding space, where semantically similar objects are located close together and dissimilar objects far apart, is a cornerstone of many computer vision applications. Existing approaches usually learn a single metric in the embedding space for all available data points, which may have a very complex non-uniform distribution with different notions of similarity between objects, e.g. appearance, shape, color or semantic meaning. Approaches for learning a single distance metric often struggle to encode all different types of relationships and do not generalize well. In this work, we propose a novel easy-to-implement divide and conquer approach for deep metric learning, which significantly improves the state-of-the-art performance of metric learning. Our approach utilizes the embedding space more efficiently by jointly splitting the embedding space and data into $K$ smaller sub-problems. It divides both, the data and the embedding space into $K$ subsets and learns $K$ separate distance metrics in the non-overlapping subspaces of the embedding space, defined by groups of neurons in the embedding layer of the neural network. The proposed approach increases the convergence speed and improves generalization since the complexity of each sub-problem is reduced compared to the original one. We show that our approach outperforms the state-of-the-art by a large margin in retrieval, clustering and re-identification tasks on CUB200-2011, CARS196, Stanford Online Products, In-shop Clothes and PKU VehicleID datasets.

연구 동기 및 목표

• 높은 복잡도이자 비균일하게 분포된 임베딩 공간에서 단일 균일 메트릭을 학습하는 데 도전한다.
• 복잡한 데이터 분포에서 충돌하는 유사도 유형(예: 외관, 형태, 의미)을 다루기 어려운 기존 거리 학습 방법의 한계를 극복한다.
• 전역 메트릭 학습 문제를 더 작은 국소적 부분문제로 분해함으로써 일반화 능력 향상과 수렴 속도 향상을 도모한다.
• 손실 함수에 종속되지 않는 기존 메트릭 학습 프레임워크에 표준 선형 임베딩 레이어를 간편하게 교체할 수 있도록 한다.
• 세분화된 검색, 재식별, 클러스터링 작업을 포함한 다양한 벤치마크에서 일관된 성능 향상을 입증한다.

제안 방법

• 학습된 특징 표현을 바탕으로 K-평균 군집화를 사용해 임베딩 공간 내 데이터 포인트를 K개의 그룹으로 군집화한다.
• 신경망의 최종 임베딩 레이어를 상호 간에 겹치지 않는 K개의 부분공간으로 분할하며, 각 부분공간은 하나의 군집에 할당된다.
• 각 군집에 할당된 데이터와 전용 부분공간에서만 최적화되는 K개의 독립적인 학습기들을 학습한다.
• 공유된 백본 네트워크를 특징 추출에 사용하며, 각 학습기는 부분공간에 대해 별도의 선형 투영을 적용한다.
• 모든 K개의 학습기를 함께 엔드 투 엔드로 훈련하며, 공유된 특징과 개별 부분공간을 통해 기울기가 역전파된다.
• 훈련 중에 임베딩 공간이 진화함에 따라 적응적으로 군집 재할당을 위해 매 T 에포크마다 K-평균 군집화를 수행한다.

실험 결과

연구 질문

• RQ1 전역 메트릭을 학습하는 것과 비교해 임베딩 공간과 데이터를 K개의 부분문제로 나누는 것이 거리 학습 성능 향상에 기여하는가?
• RQ2 데이터와 부분공간 분할을 동시에 수행하는 것이 더 나은 일반화 능력과 더 빠른 수렴을 이끌어내는가?
• RQ3 제안된 방법은 명시적인 마이닝 절차 없이도 자연스럽게 하드 네거티브를 식별할 수 있는가?
• RQ4 군집 전략 선택(예: K-평균 대비 랜덤 또는 진짜 레이블 기반 그룹화)이 성능에 어떤 영향을 미치는가?
• RQ5 이 방법은 다양한 거리 학습 작업과 데이터셋에 얼마나 일반화되는가?

주요 결과

• 제안된 방법은 CUB200-2011, CARS196, Stanford Online Products, In-shop Clothes, PKU VehicleID 등 다섯 개의 벤치마크 데이터셋에서 새로운 최신 기술 수준 성능을 달성한다.
• Margin 손실을 사용한 Stanford Online Products에서, 방법은 Recall@1 75.9%를 기록하여 베이스라인(72.7%)과 다른 아블레이션 버전을 모두 초월한다.
• K=8개의 학습기를 사용할 경우 최고의 성능을 보이며, Stanford Online Products에서 Recall@1이 베이스라인(72.7%)에서 75.9%로 상승한다.
• 임베딩 공간 내 K-평균 군집화는 랜덤 데이터 분할(73.2% Recall@1)과 진짜 레이블 기반 그룹화(74.5% Recall@1)보다 뚜렷이 뛰어난 성능을 보인다.
• 부분문제 복잡도를 감소시킴으로써 훈련 복잡도를 낮추고, 단일 메트릭 학습 대비 더 빠른 수렴과 더 나은 국소 최적해를 달성한다.
• 이 방법은 자연스럽게 하드 네거티브를 식별한다: 군집 내 네거티브 쌍의 평균 거리는 군집 간 쌍보다 낮으며, 이는 훈련 신호 강도를 증가시킨다.