[논문 리뷰] Energy Confused Adversarial Metric Learning for Zero-Shot Image Retrieval and Clustering

Binghui Chen, Weihong Deng|arXiv (Cornell University)|2019. 01. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 4

한 줄 요약

이 논문은 에너지 혼란 적대적 거리 학습(ECAML)을 제안하며, 깊이 있는 거리 임bedding의 일반화 능력을 명시적으로 향상시켜 제로샷 이미지 검색 및 클러스터링 성능을 향상시키는 새로운 정규화 프레임워크이다. 볼록한 볼록한 특징에 대한 과적합을 방지하기 위해 의도적으로 오버피팅을 방해하는 적대적 에너지 혼란 항목을 도입함으로써, ECAML은 강건성과 일반화 능력을 향상시키며 CUB, CARS, 스탠포드 온라인 제품, In-Shop 벤치마크에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Deep metric learning has been widely applied in many computer vision tasks, and recently, it is more attractive in \emph{zero-shot image retrieval and clustering}(ZSRC) where a good embedding is requested such that the unseen classes can be distinguished well. Most existing works deem this 'good' embedding just to be the discriminative one and thus race to devise powerful metric objectives or hard-sample mining strategies for leaning discriminative embedding. However, in this paper, we first emphasize that the generalization ability is a core ingredient of this 'good' embedding as well and largely affects the metric performance in zero-shot settings as a matter of fact. Then, we propose the Energy Confused Adversarial Metric Learning(ECAML) framework to explicitly optimize a robust metric. It is mainly achieved by introducing an interesting Energy Confusion regularization term, which daringly breaks away from the traditional metric learning idea of discriminative objective devising, and seeks to 'confuse' the learned model so as to encourage its generalization ability by reducing overfitting on the seen classes. We train this confusion term together with the conventional metric objective in an adversarial manner. Although it seems weird to 'confuse' the network, we show that our ECAML indeed serves as an efficient regularization technique for metric learning and is applicable to various conventional metric methods. This paper empirically and experimentally demonstrates the importance of learning embedding with good generalization, achieving state-of-the-art performances on the popular CUB, CARS, Stanford Online Products and In-Shop datasets for ZSRC tasks. extcolor[rgb]{1, 0, 0}{Code available at http://www.bhchen.cn/}.

연구 동기 및 목표

• 기존의 거리 학습 방법이 볼록한 특징에 대한 과적합을 일으키는 주요한 한계를 해결하기 위해, 일반화 제약 조건이 명시적으로 부족한 제로샷 이미지 검색 및 클러스터링(ZSRC) 문제를 다루는 것.
• 학습된 임베딩의 일반화 능력을 단순한 분류 능력 초과로 향상시키는 것이 ZSRC 성능을 크게 향상시킬 수 있는지 조사하는 것.
• 다양한 기존의 거리 학습 프레임워크에 쉽게 통합할 수 있는 플러그 앤 플레이 정규화 기법을 개발하는 것.
• 학습 중에 에너지 혼란 항목을 통해 모델을 명시적으로 혼란스럽게 만들면, 미리보지 않은 클래스에 유용한 보완적이고 일반화 가능한 지식을 더 잘 탐색할 수 있음을 입증하는 것.

제안 방법

• 학습 중에 서로 다른 클래스의 임베딩 간의 기대 유클리드 거리를 증가시켜 모델을 무작위로 혼란스럽게 하는 에너지 혼란(EC) 정규화 항목을 도입한다.
• 기본적인 거리 학습 목표(예: 트리플릿, N-패어, 바이노미얼 손실)와 함께 적대적으로 EC 항목을 적용함으로써, 거리 손실 최소화와 혼란 최대화라는 이중 최적화 목표를 설정한다.
• 엔드 투 엔드 학습 중에 기존의 거리 손실과 EC 정규화 손실을 균형 잡기 위해 학습 가능한 하이퍼파ram터 λ를 사용한다.
• 임의의 서로 다른 클래스의 이미지 쌍을 무작위로 샘플링하여 EC 항목을 계산하는 스토케스틱 샘플링 전략을 사용함으로써, 모델이 표면적인 분류 특징에 과도하게 의존하지 않도록 보장한다.
• 볼록한 특징에 대한 과적합을 줄이기 위해, 쉽게 분리 가능한 특징에 대한 과도한 확신을 방지함으로써, 볼록한 클래스의 편향된 특징에 대한 과적합을 감소시킨다.
• 볼록한 클래스의 편향에 의해 유도되는 열악한 국소 최적점에서 벗어나, 향후 미리보지 않은 클래스에 유용한 더 일반적이고 추상적인 표현을 탐색하도록 최적화 과정을 촉진한다.

실험 결과

연구 질문

• RQ1 깊이 있는 거리 임베딩의 일반화 능력을 명시적으로 향상시키는 것이 제로샷 이미지 검색 및 클러스터링 성능 향상에 기여하는가?
• RQ2 볼록한 클래스의 편향에 대한 과적합을 방해하는 적대적 혼란 메커니즘이, 향후 미리보지 않은 클래스로의 강건성과 이식 가능성 향상에 기여하는가?
• RQ3 ECAML 프레임워크는 일반화 및 제로샷 이식 성능 측면에서 기존의 거리 학습 방법과 비교해 어떻게 성능을 냈는가?
• RQ4 아키텍처 변경 없이도 ECAML 프레임워크가 다양한 거리 학습 목표(예: 트리플릿, N-패어, 바이노미얼 손실)에 얼마나 널리 적용 가능한가?
• RQ5 에너지 혼란 항목이 모델이 표면적인 패턴보다 추상적이고 일반화 가능한 특징을 학습하는 데 어떤 영향을 미치는가?

주요 결과

• ECAML은 CUB, CARS, 스탠포드 온라인 제품, In-Shop 등 네 가지 벤치마크 데이터셋 전반에서 기존의 거리 학습 방법(트리플릿, N-패어, 바이노미얼)의 성능을 일관되게 향상시킨다.
• CUB 데이터셋에서 ECAML(Binomial)은 R@1 55.7%, R@2 66.5%, R@4 76.7%, R@8 85.1%, NMI 61.8%, F1 30.5%를 기록하며, 나열된 모든 최신 기술(SOTA) 방법을 능가한다.
• In-Shop 데이터셋에서 ECAML(Binomial)은 R@1 83.8%, R@10 95.1%, R@20 96.6%, R@30 97.3%, R@40 97.7%, R@50 98.0%를 기록하며, 새로운 SOTA 성능을 수립한다.
• 바이노미얼 손실을 사용한 ECAML 프레임워크가 전체적으로 가장 뛰어난 성능을 보이며, In-Shop 및 스탠포드 온라인 제품에서 전용 SOTA 모델인 BIER 및 HDC를 초월한다.
• 절단 분석 결과, 에너지 혼란 항목이 볼록한 클래스의 편향에 대한 과적합을 효과적으로 줄이고, 향후 미리보지 않은 클래스로의 일반화 능력을 향상시킨다는 것이 확인되었다.
• 이 방법은 다양한 거리 학습 목표에 대해 일반적으로 적용 가능하며, 플러그 앤 플레이 정규화 기법으로서 강력한 일반화 능력과 강건성을 보여주었다.