[논문 리뷰] MIC: Mining Interclass Characteristics for Improved Metric Learning

Karsten Roth, Biagio Brattoli외 1명|arXiv (Cornell University)|2019. 09. 25.

Advanced Image and Video Retrieval Techniques참고 문헌 41인용 수 17

한 줄 요약

이 논문은 시야각, 색상, 방향성과 같은 공통된 클래스 간 특징을 별도의 보조 인코더를 통해 명시적으로 모델링함으로써 미터릭 학습을 향상시키는 MIC라는 방법을 제안한다. 이 보조 인코더는 서브티튜드 클러스터링 작업을 통해 훈련되고 주 분류기와의 상호정보량을 줄임으로써, 보다 컴act하고 강건한 임bedding을 얻는 데 성공하여 다섯 개인 이미지 검색 벤치마크에서 최신 기술을 크게 능가한다.

ABSTRACT

Metric learning seeks to embed images of objects suchthat class-defined relations are captured by the embeddingspace. However, variability in images is not just due to different depicted object classes, but also depends on other latent characteristics such as viewpoint or illumination. In addition to these structured properties, random noise further obstructs the visual relations of interest. The common approach to metric learning is to enforce a representation that is invariant under all factors but the ones of interest. In contrast, we propose to explicitly learn the latent characteristics that are shared by and go across object classes. We can then directly explain away structured visual variability, rather than assuming it to be unknown random noise. We propose a novel surrogate task to learn visual characteristics shared across classes with a separate encoder. This encoder is trained jointly with the encoder for class information by reducing their mutual information. On five standard image retrieval benchmarks the approach significantly improves upon the state-of-the-art.

연구 동기 및 목표

• 시야각과 조명과 같이 구조적인 요소로 인해 발생하는 클래스 내 변동성을 다루기 위해, 이러한 요소들이 종종 노이즈로 간주되는 문제를 해결하기 위해.
• 객체 클래스 간 공통적인 시각적 특징을 명시적으로 모델링하여 제로샷 및 패트샷 검색에서 일반화 성능을 향상시키기 위해.
• 학습된 임베딩에서 클래스 내 분산을 줄이기 위해 클래스 특유의 특징와 공통적인 클래스 간 성질을 분리하기 위해.
• 추가적인 애너테이션 없이도 보조 인코더를 훈련시킬 수 있는 자기지도 학습 기반의 서브티튜드 작업을 개발하기 위해.
• 분리된 표현 학습을 통해 구조적 불변성 학습을 통합함으로써 표준 미터릭 학습 프레임워크를 향상시키기 위해.

제안 방법

• 이중 인코더 아키텍처는 클래스 구분 특징(α)과 공통된 클래스 간 특징(β)을 분리하며, Eα는 진짜 레이블로 훈련되고 Eβ는 서브티튜드 작업으로 훈련된다.
• 서브티튜드 작업은 각 클래스별로 특징를 표준화하고 표준화된 임베딩에 대해 클러스터링을 적용하여 공통된 특징에 대한 클러스터 기반의 레이블을 생성한다.
• 보조 인코더 Eβ는 이러한 클러스터 레이블을 재구성하도록 훈련되어, 추가 애너테이션 없이도 구조적인 클래스 간 특징를 학습한다.
• Eβ에서 Eα로의 정보 유출을 최소화하기 위해 기울기 반전 레이어와 상호정보량 손실이 적용되며, 이로 인해 Eα는 비구분적인 공통 특징로부터 자유로워진다.
• 이 방법은 트리플릿 손실, ProxyNCA 등 표준 미터릭 학습 손실과 함께 Eα 및 Eβ의 목적함수와 함께 공동 최적화될 수 있다.
• Eβ의 클러스터 레이블은 훈련 중 주기적으로 갱신되어 변화하는 특징 표현을 반영함으로써 공통 특징 모델링의 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 시야각과 색상과 같은 공통된 클래스 간 시각적 특징를 명시적으로 모델링하면 미터릭 학습 성능이 향상되는가?
• RQ2 클래스 특유의 특징와 공통된 시각적 특징를 분리하면 클래스 내 밀도와 제로샷 검색에서의 일반화 성능에 어떤 영향을 미치는가?
• RQ3 표준화와 클러스터링 기반의 자기지도 학습 서브티튜드 작업이 클래스 간 특징 학습에 어떤 영향을 미치는가?
• RQ4 주 인코더와 보조 인코더 간의 상호정보량 정규화는 특징 분리와 강건성 향상에 어떤 영향을 미치는가?
• RQ5 클러스터 수와 레이블 갱신 빈도와 같은 하이퍼파라미터에 대한 성능 민감도는 어느 정도인가?

주요 결과

• 제안된 MIC 방법은 CUB200-2011, CARS196, Stanford Online Products, In-Shop Clothes, PKU VehicleID를 포함한 다섯 개의 표준 이미지 검색 벤치마크에서 최신 기술 성능을 달성한다.
• CUB200-2011에서 MIC는 트리플릿 손실과 결합했을 때 Recall@1을 66.1%까지 향상시켜 이전 최신 기술 방법을 능가한다.
• 절단 실험을 통해 클러스터링, 표준화, 상호정보량 손실 모두가 필수적임을 확인하였으며, 전체 모델은 CARS196에서 82.6%의 Recall@1을 달성한다.
• Eβ가 표준화와 상호정보량을 함께 훈련했을 때 클래스 내 분산이 크게 감소하여 클래스의 밀도 향상이 확인되었다.
• 모델은 하이퍼파라미터 선택에 대해 강건하다: 클러스터 수의 변화 범위(±1% Recall@1)에서도 최적의 성능 유지되며, 1에서 10 에포크 간격으로 레이블 갱신 시 안정적인 결과를 얻는다.
• ProxyNCA와 트리플릿 손실(반드시 하드 마이닝을 포함)을 포함한 다양한 미터릭 학습 손실에서 일관되게 성능 향상을 보이며, 일반화 능력을 확인한다.