[논문 리뷰] Making Classification Competitive for Deep Metric Learning

Andrew Zhai, Haoyu Wu|arXiv (Cornell University)|2018. 11. 30.

COVID-19 diagnosis using AI인용 수 17

한 줄 요약

이 논문은 표준 분류 네트워크를 프록시 기반 메트릭 러닝 학습자로 변환함으로써 이미지 검색 및 클러스터링 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하는 새로운 분류 기반 접근법을 제안한다. 이 방법은 고차원 임bedding 학습을 안정화시키고, 트리플릿 또는 페어 마이닝과 같은 비모수적 방법과 경쟁적 또는 그 이상의 성능을 제공하면서도 낮은 메모리 사용량을 유지한다.

ABSTRACT

Deep metric learning aims to learn a function mapping image pixels to embedding feature vectors that model the similarity between images. The majority of current approaches are non-parametric, learning the metric space directly through the supervision of similar (pairs) or relatively similar (triplets) sets of images. A difficult challenge for training these approaches is mining informative samples of images as the metric space is learned with only the local context present within a single mini-batch. Alternative approaches use parametric metric learning to eliminate the need for sampling through supervision of images to proxies. Although this simplifies optimization, such proxy-based approaches have lagged behind in performance. In this work, we demonstrate that a standard classification network can be transformed into a variant of proxy-based metric learning that is competitive against non-parametric approaches across a wide variety of image retrieval tasks. We address key challenges in proxy-based metric learning such as performance under extreme classification and describe techniques to stabilize and learn higher dimensional embeddings. We evaluate our approach on the CAR-196, CUB-200-2011, Stanford Online Product, and In-Shop datasets for image retrieval and clustering. Finally, we show that our softmax classification approach can learn high-dimensional binary embeddings that achieve new state-of-the-art performance on all datasets evaluated with a memory footprint that is the same or smaller than competing approaches.

연구 동기 및 목표

• 비모수적 방법인 트리플릿 또는 페어 마이닝과 비교할 때 프록시 기반 메트릭 러닝의 성능 격차를 해소하기 위해.
• 고차원 프록시 기반 학습에서의 불안정성과 성능 저하 문제를 해결하기 위해.
• 복잡한 마이닝 전략이 필요 없이 표준 크로스 엔트로피 분류를 사용하여 깊이 있는 메트릭 모델을 효과적으로 학습할 수 있도록 하기 위해.
• 복잡한 비모수적 메트릭 러닝 프레임워크와 비교해도 단순한 분류 헤드가 경쟁적 또는 그 이상의 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 클래스 중심(프록시)을 최종 레이어 가중치로 사용하여 표준 분류 네트워크를 프록시 기반 메트릭 러닝 프레임워크로 변환한다.
• 특징 임베딩이 음성 프록시에서 멀어지고 양성 프록시로 끌어당겨지도록 유도하는 수정된 소프트맥스 크로스 엔트로피 손실을 적용한다.
• 고차원 공간에서의 학습 안정화와 일반화 향상을 위해 온도 스케일링 및 특징 정규화 기법을 도입한다.
• 학습 중에 적응적으로 업데이트되는 프록시 업데이트 전략을 활용하여 데이터 분포를 더 잘 대표하도록 한다.
• 두 단계 학습 프로토콜을 사용한다: 먼저 표준 크로스 엔트로피로 사전 학습하고, 그 다음에 프록시 기반 대비 손실로 미세 조정한다.
• 정규화된 특징의 후처리를 통해 고차원 이진 임베딩을 효율적으로 학습하며, 최소한의 메모리 오버헤드를 유지한다.

실험 결과

연구 질문

• RQ1 표준 분류 네트워크를 프록시 기반 적응을 통해 비모수적 메트릭 러닝 방법과 경쟁할 수 있도록 만들 수 있는가?
• RQ2 성능 저하 없이 고차원 임베딩 공간으로 확장하고 안정화할 수 있는 프록시 기반 메트릭 러닝은 어떻게 설계할 수 있는가?
• RQ3 간단한 분류 헤드를 사용한 프록시 기반 접근법이 이미지 검색 및 클러스터링에서 복잡한 마이닝 기반 비모수적 방법보다 우수한 성능을 낼 수 있는가?
• RQ4 낮은 메모리 사용량과 최신 기술 수준의 정확도를 유지하면서도 분류 프레임워크에서 고차원 이진 임베딩을 효율적으로 학습할 수 있는가?

주요 결과

• 제안된 방법은 평가된 모든 데이터셋(CAR-196, CUB-200-2011, Stanford Online Products, In-Shop)에서 새로운 최신 기술 수준(SOTA) 성능을 달성한다.
• 모든 검색 및 클러스터링 벤치마크에서 트리플릿 및 페어 기반 학습과 같은 비모수적 방법보다 뛰어난 성능을 보인다.
• 고차원 임베딩을 학습하는 동안 경쟁 방법들과 비교해도 메모리 사용량을 유지하거나 감소시킨다.
• 정규화 및 온도 스케일링를 통해 고차원 공간에서의 강인성과 안정성을 입증한다.
• 모델에서 유도된 고차원 이진 임베딩은 최소한의 저장 비용으로 SOTA 성능을 달성한다.
• 제거 분석 결과, 특히 극단적 분류 설정에서 정규화 및 적절한 정규화가 성능에 매우 중요하다는 것이 확인된다.