[논문 리뷰] Classification is a Strong Baseline for Deep Metric Learning

Andrew Zhai, Haoyu Wu|arXiv (Cornell University)|2018. 11. 30.

Advanced Image and Video Retrieval Techniques참고 문헌 28인용 수 37

한 줄 요약

이 논문은 대규모 분류를 통한 정규화된 소프트맥스 손실이 이미지 검색 작업 전반에 걸쳐 딥 메트릭 러닝의 강력한 베이스라인임을 입증한다. 고차원 임bedding과 이진화를 활용함으로써, 64D 부동소수점 임베딩과 동일한 메모리 용량을 유지하면서도 최신 기술 수준(SOTA) 성능을 달성하며, CARS-196, CUB-200-2011, Stanford Online Products 및 In-Shop 데이터셋에서 이전의 트리플릿 기반 및 분류 기반 접근법을 모두 능가한다.

ABSTRACT

Deep metric learning aims to learn a function mapping image pixels to embedding feature vectors that model the similarity between images. Two major applications of metric learning are content-based image retrieval and face verification. For the retrieval tasks, the majority of current state-of-the-art (SOTA) approaches are triplet-based non-parametric training. For the face verification tasks, however, recent SOTA approaches have adopted classification-based parametric training. In this paper, we look into the effectiveness of classification based approaches on image retrieval datasets. We evaluate on several standard retrieval datasets such as CAR-196, CUB-200-2011, Stanford Online Product, and In-Shop datasets for image retrieval and clustering, and establish that our classification-based approach is competitive across different feature dimensions and base feature networks. We further provide insights into the performance effects of subsampling classes for scalable classification-based training, and the effects of binarization, enabling efficient storage and computation for practical applications.

연구 동기 및 목표

• 이전에 얼굴 인식에서 주로 사용된 분류 기반 학습이 개방 집합 이미지 검색 작업으로 일반화되는지 평가하는 것.
• 하나의 클래스 수가 매우 많을 경우에 분류 기반 메트릭 러닝의 확장성을 서브샘플링 전략을 통해 조사하는 것.
• 메모리 효율성과 추론 효율성을 확보하면서 정확도를 유지하기 위해 고차원 임베딩을 이진화할 경우의 성능 상충 관계를 탐색하는 것.
• 기존의 트리플릿 기반 및 분류 기반 방법들을 능가하는 실용적이고 확장성 있고 높은 성능을 보이는 딥 메트릭 러닝의 기초 베이스라인을 수립하는 것.

제안 방법

• 각 클래스가 학습 가능한 프록시 임베딩으로 표현되는 대규모 분류를 통한 정규화된 소프트맥스 손실을 사용하여 딥 메트릭 모델을 학습하는 것.
• 다양한 데이터셋에서 특징의 분류 능력과 일반화 능력을 향상시키기 위해 고차원 임베딩 공간(최대 2048D)을 활용하는 것.
• 대규모 데이터셋에서의 계산 비용을 관리하고 확장성을 향상시키기 위해 학습 중 클래스를 서브샘플링하는 것.
• 최종 부동소수점 임베딩을 0 기준으로 임계값 설정을 통해 이진화하여 저장 및 계산의 효율성을 높이고 검색 성능를 유지하는 것.
• 일반화 성능 평가를 위해 ResNet-50, GoogleNet 및 BNInception을 기초 네트워크로 사용하는 것.
• 학습 안정성 향상과 고차원 공간에서의 일반화 향상을 위해 레이블 스무딩과 정규화를 최적화 과정에 적용하는 것.

실험 결과

연구 질문

• RQ1 정규화된 소프트맥스 손실을 사용한 분류 기반 학습이 얼굴 인식 외의 일반 이미지 검색 벤치마크에서도 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?
• RQ2 학습 중 클래스를 서브샘플링하면 대규모 설정에서 분류 기반 메트릭 러닝의 성능에 어떤 영향을 미치는가?
• RQ3 고차원 이진 임베딩이 64D 부동소수점 임베딩과 동일한 메모리 용량을 차지하면서도 얼마나 정확도를 유지할 수 있는가?
• RQ4 고차원 분류 기반 접근법이 여러 표준 데이터셋에서 기존의 트리플릿 기반 최신 기술 수준(SOTA) 방법들을 능가하는가?

주요 결과

• 2048D 임베딩을 사용한 제안된 정규화된 소프트맥스 손실은 CARS-196에서 Recall@K 98.1%를 달성하고 CUB-200-2011에서는 91.8%를 기록하여 LMCL 및 A-BIER를 포함한 이전의 SOTA 방법들을 능가한다.
• 2048D 부동소수점 임베딩을 0 기준으로 임계값 설정하여 이진화한 2048비트 이진 임베딩은 CARS-196에서 Recall@K 98.0%를 기록하고 CUB-200-2011에서는 91.0%를 달성하여 64D 부동소수점 임베딩과 동일한 메모리 용량을 유지하면서도 성능를 뛰어넘는다.
• 학습 중 클래스를 서브샘플링함으로써 높은 성능가 유지되며, 매우 많은 클래스를 포함한 데이터셋에서도 확장 가능한 학습이 가능하다.
• 모든 평가된 데이터셋과 임베딩 차원에서 N-pair 손실, Proxy-NCA 및 마진 손실을 포함한 여러 SOTA 방법보다 성능이 뛰어나다.
• 고차원 임베딩을 사용한 정규화된 소프트맥스 베이스라인은 트리플릿 기반 및 다른 분류 기반 방법들을 일관되게 능가하여 강력한 일반 목적의 베이스라인으로서의 위치를 확립한다.
• 고차원 임베딩에 대해 이진화를 적용하더라도 성능 저하가 발생하지 않으며, 정확도 손실 최소화로 효율적인 구현이 가능하다.