[논문 리뷰] Deep Metric Learning via Facility Location

Hyun Oh Song, Stefanie Jegelka외 2명|arXiv (Cornell University)|2016. 12. 05.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 쌍 또는 트리플릿 전처리가 필요 없이, 전역적인 임bedding 공간 구조를 직접 모델링함으로써 클러스터링 품질(비율로 측정된 NMI)을 최적화하는 새로운 딥 메트릭 학습 프레임워크를 제안한다. 이 방법은 CUB200-2011, Cars196, Stanford Online Products에서 최신 기준 성능을 달성하며, NMI 및 Recall@K 지표에서 이전 방법들을 능가한다.

ABSTRACT

Learning the representation and the similarity metric in an end-to-end fashion with deep networks have demonstrated outstanding results for clustering and retrieval. However, these recent approaches still suffer from the performance degradation stemming from the local metric training procedure which is unaware of the global structure of the embedding space. We propose a global metric learning scheme for optimizing the deep metric embedding with the learnable clustering function and the clustering metric (NMI) in a novel structured prediction framework. Our experiments on CUB200-2011, Cars196, and Stanford online products datasets show state of the art performance both on the clustering and retrieval tasks measured in the NMI and Recall@K evaluation metrics.

연구 동기 및 목표

• 현재 딥 메트릭 학습 방법이 미니배치 내 국소적인 쌍 또는 트리플릿 관계에만 초점을 맞추는 데에 그치는 한계를 해결하기 위해.
• 임베딩 공간의 전역적 구조를 고려하는 학습 프레임워크를 개발하여 클러스터링 및 검색 성능을 향상시키기 위해.
• 트리플릿 또는 n-패어 구성과 같은 비용이 많이 들고 유연성이 떨어지는 데이터 준비 단계가 필요 없도록 하기 위해.
• 정규화 상호정보량(NMI) 기반의 미분 가능하고 종단 간 훈련이 가능한 손실 함수를 사용해 클러스터링 품질을 직접 최적화하기 위해.
• 사전 정의된 어려운 음성 샘플링 또는 쌍 형성에 의존하지 않기 때문에 더 유연하고 효율적인 데이터 샘플링 전략을 가능하게 하기 위해.

제안 방법

• 지식 기반 클러스터링 할당이 다른 모든 할당보다 구조적 마진을 통해 더 높은 점수를 받도록 보장하기 위해 구조적 예측 프레임워크를 사용한다.
• 임베딩 공간 내 주어진 클러스터링 할당의 품질을 평가하는 클러스터링 점수 함수 F를 정의한다.
• 지식 기반 클러스터링 점수와 모든 다른 가능한 클러스터링의 점수 간 격차를 최대화하는 마진 손실을 도입한다.
• 이산적 클러스터링 할당을 통해 역전파가 가능하도록 클러스터링 점수의 미분 가능 근사값을 활용한다.
• 딥 네ural 네트워크의 임베딩 출력을 클러스터링 점수 함수의 입력으로 사용하여 종단 간 훈련을 가능하게 한다.
• 메트릭 일반화를 향상시키기 위해 이전 최신 기준 방법과 동일하게 최종 임베딩에 ℓ2 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 전역 클러스터링 구조를 모델링하는 딥 메트릭 학습 프레임워크가 표준 벤치마크에서 국소적 쌍 또는 트리플릿 기반 방법보다 우월한 성능을 보일 수 있는가?
• RQ2 NMI를 직접 목표로 최적화하는 것이 표준 메트릭 학습 손실과 비교해 더 나은 클러스터링 및 검색 성능을 이끌 수 있는가?
• RQ3 구조적 예측 기반 손실이 트리플릿 또는 쌍으로 데이터를 전처리하는 것을 제거하면서도 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 제안된 방법이 삼중항 학습과 반경직성 마이닝, 라이프트된 구조적 임베딩, N-패어 손실과 같은 최신 기준 방법과 비교해 어떻게 성능을 내는가?
• RQ5 종단 간, 미분 가능한 클러스터링 목표 덕분에 더 많은 민첩한 데이터 샘플링 전략을 지원할 수 있는가?

주요 결과

• 제안된 방법은 CUB200-2011에서 기존 최고 성능인 N-pairs(57.24)와 라이프트된 구조적 임베딩(56.50)을 뛰어넘는 최신 기준 NMI 점수 59.23을 달성한다.
• CUB200-2011에서 Recall@8는 81.92를 기록하여 이전 최고 성능인 N-pairs(79.49)와 라이프트된 구조적 임베딩(79.63)을 초월한다.
• Cars196에서 제안된 방법은 NMI 59.04와 Recall@8 87.81을 기록하며, 이는 이전 최고 성능인 N-pairs(57.79)와 라이프트된 구조적 임베딩(56.88)을 뛰어넘는다.
• Stanford Online Products에서 제안된 방법은 NMI 89.48과 Recall@100 93.23을 기록하며, 이는 이전 최고 성능인 N-pairs(89.37)와 라이프트된 구조적 임베딩(88.65)을 능가한다.
• t-SNE 시각화 결과는 뷰포인트, 자세, 조명 조건의 큰 변화가 있더라도 학습된 임베딩이 유사한 클래스를 효과적으로 그룹화하고 있음을 확인한다.