[논문 리뷰] Deep Metric Learning Meets Deep Clustering: An Novel Unsupervised Approach for Feature Embedding

Binh X. Nguyen, B. D. Nguyen외 4명|arXiv (Cornell University)|2020. 09. 09.

Video Surveillance and Tracking Methods참고 문헌 55인용 수 8

한 줄 요약

이 논문은 레이블이 없는 상황에서 양성/음성 샘플 마이닝의 과제를 극복하기 위해 딥 클러스터링과 메트릭 러닝을 통합한 새로운 비지도 딥 메트릭 러닝 방법 CBSwR을 제안한다. 클러스터링을 통해 학습된 가짜 레이블을 활용해 중심 기반 메트릭 손실을 유도함으로써, CUB200-2011 및 CARS196에서 최신 기준 성능을 달성하며, 회귀 성능 측정치에서 기존 비지도 방법들을 능가하면서도 강력한 클러스터링 품질을 유지한다.

ABSTRACT

Unsupervised Deep Distance Metric Learning (UDML) aims to learn sample similarities in the embedding space from an unlabeled dataset. Traditional UDML methods usually use the triplet loss or pairwise loss which requires the mining of positive and negative samples w.r.t. anchor data points. This is, however, challenging in an unsupervised setting as the label information is not available. In this paper, we propose a new UDML method that overcomes that challenge. In particular, we propose to use a deep clustering loss to learn centroids, i.e., pseudo labels, that represent semantic classes. During learning, these centroids are also used to reconstruct the input samples. It hence ensures the representativeness of centroids - each centroid represents visually similar samples. Therefore, the centroids give information about positive (visually similar) and negative (visually dissimilar) samples. Based on pseudo labels, we propose a novel unsupervised metric loss which enforces the positive concentration and negative separation of samples in the embedding space. Experimental results on benchmarking datasets show that the proposed approach outperforms other UDML methods.

연구 동기 및 목표

• 비지도 딥 메트릭 러닝(UDML)에서 클래스 레이블이 제공되지 않는 상황에서 양성 및 음성 샘플 마이닝의 과제를 해결하기 위해.
• 전체 데이터셋에서 쌍 또는 트리플릿 마이닝에 의해 발생하는 계산 비용이 큰 의존도를 줄임으로써 UDML의 학습 효율성을 향상시키기 위해.
• 정의된 클러스터 중심점(centroid)을 통해 의미적 군집화를 위한 가짜 레이블을 학습함으로써, 지도 없이도 효과적인 메트릭 러닝을 가능하게 하기 위해.
• 특히 제로샷 및 저자원 환경에서 비지도 특징 임bedding 및 검색 성능에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 딥 클러스터링 헤드, 재구성 손실, 중심 기반 메트릭 손실을 조합한 새로운 손실 함수를 도입하여 클러스터링과 메트릭 러닝을 동시에 최적화한다.
• 가짜 레이블은 입력 샘플을 학습 가능한 중심점에 할당하는 가역적(다양한) 클러스터링 헤드를 통해 생성되며, 임베딩 공간 내 의미적 클래스를 대표한다.
• 모멘텀 기반 통계를 사용해 학습 중 중심점을 업데이트함으로써 안정적이고 대표적인 클러스터 중심점을 확보한다.
• 가짜 레이블을 감독으로 사용해 메트릭 손실이 내부 클러스터의 응집력(양성 집중)과 외부 클러스터 간의 분리(음성 분리)를 강제한다.
• 입력 샘플을 그들의 클러스터 중심점에서 재구성하는 데 재구성 손실을 적용함으로써 중심점이 시각적 패턴을 잘 대표하고 있음을 보장한다.
• 가짜 레이블을 사용해 양성 및 음성 세트를 정의함으로써 트리플릿 또는 쌍의 명시적 마이닝을 피함으로써 계산 복잡도를 감소시킨다.

실험 결과

연구 질문

• RQ1 실제 레이블이 없을 때 딥 클러스터링이 비지도 메트릭 러닝을 위한 신뢰할 수 있는 가짜 레이블을 효과적으로 생성할 수 있는가?
• RQ2 지도 없이도 가짜 레이블을 활용해 트리플릿 또는 쌍 기반 메트릭 러닝을 위한 의미 있는 양성 및 음성 샘플을 정의할 수 있는가?
• RQ3 클러스터링, 재구성, 메트릭 러닝을 동시에 최적화하는 방식이 기존 비지도 메트릭 러닝 방법보다 더 나은 특징 임베딩을 도출할 수 있는가?
• RQ4 제안된 방법은 비지도 및 지도 기반 메트릭 러닝 기준과 비교해 검색 벤치마크에서 경쟁 가능한 성능을 달성하는가?

주요 결과

• CUB200-2011 데이터셋에서 CBSwR은 R@8에서 80.5%의 리콜을 기록하여 이전 최고의 비지도 방법인 SME(80.2%)를 능가하며, 모든 R@K 측정치에서 다른 비지도 방법들과 비교해 동등하거나 슈퍼어리어를 기록한다.
• CARS196 데이터셋에서 CBSwR은 R@8에서 76.0%의 리콜을 달성하여 MOM 및 SME를 포함한 모든 다른 비지도 방법들을 뛰어넘으며, 지도 기반 방법의 성능에 가까워진다.
• CBSwR은 CARS196에서 37.6%의 정규화 상호정보량(NMI) 점수를 기록하여 최신 비지도 클러스터링 방법 수준의 강력한 클러스터링 품질을 보여준다.
• CBSwR은 이전 최고의 비지도 메트릭 러닝 방법인 SME보다 검색 및 클러스터링 성능 양면에서 뛰어나, 공동 클러스터링-메트릭 러닝 프레임워크의 효과성을 입증한다.
• 제거 실험(ablation study) 결과, 재구성 손실과 중심 기반 메트릭 손실이 최적 성능 달성에 모두 필수적임을 확인하였으며, 각 구성 요소가 임베딩 품질 향상에 기여한다.
• CBSwR은 스마트 마이닝을 적용한 트리플릿 손실 및 프록시 기반 트리플릿 손실을 포함한 지도 기반 방법들과 비교해 경쟁 가능한 성능을 기록함으로써, 제로샷 환경에서 뛰어난 전이 가능성과 일반화 능력을 보여준다.