[논문 리뷰] Deep Metric Transfer for Label Propagation with Limited Annotated Data

斌 刘, Zhirong Wu외 2명|arXiv (Cornell University)|2018. 12. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 12

한 줄 요약

이 논문은 관련된 소스 도메인에서 사전 훈련된 유사도 메트릭을 활용하여 저샷 학습에서 레이블 전파를 향상시키는 딥 메트릭 전이 프레임워크를 제안한다. 소스 도메인에서 사전 훈련된 이 메트릭을 타겟 도메인의 적은 수의 레이블된 예시에서 대규모 미레이블 데이터셋으로 레이블을 전파하는 데 전이함으로써, 준지도 학습, 전이 학습, 저샷 인식 등 다양한 분야에서 성능을 크게 향상시킨다. CIFAR-10에서 클래스당 5~10개의 레이블만으로도 최대 20%p의 절대적 성능 향상을 달성한다.

ABSTRACT

We study object recognition under the constraint that each object class is only represented by very few observations. Semi-supervised learning, transfer learning, and few-shot recognition all concern with achieving fast generalization with few labeled data. In this paper, we propose a generic framework that utilizes unlabeled data to aid generalization for all three tasks. Our approach is to create much more training data through label propagation from the few labeled examples to a vast collection of unannotated images. The main contribution of the paper is that we show such a label propagation scheme can be highly effective when the similarity metric used for propagation is transferred from other related domains. We test various combinations of supervised and unsupervised metric learning methods with various label propagation algorithms. We find that our framework is very generic without being sensitive to any specific techniques. By taking advantage of unlabeled data in this way, we achieve significant improvements on all three tasks.

연구 동기 및 목표

• 과도한 피팅으로 인해 표준 지도 학습이 실패하는 극도로 적은 수의 레이블 데이터가 존재하는 상황에서의 객체 인식 문제를 해결한다.
• 가용한 레이블이 부족해 초기 모델의 성능이 열악한 상황에서 성능이 저하되는 기존 방법들(예: 가짜 레이블링, 메타학습)의 한계를 극복한다.
• 준지도 학습, 전이 학습, 저샷 인식 작업 등에 일반화 가능한 유연하고 견고한 프레임워크를 개발한다.
• 타겟 도메인의 대규모 미레이블 데이터셋으로 레이블 전파를 효과적이고 신뢰성 있게 수행하기 위해 소스 도메인에서 학습된 유사도 메트릭을 전이할 수 있음을 입증한다.
• 저샷 학습에서 타겟 도메인의 미레이블 데이터가 소스 도메인의 레이블 데이터보다 더 유용한가를 탐구한다.

제안 방법

• 소스 도메인에서 지도 학습 또는 비지도 학습(자기지도 학습)을 통해 딥 메트릭을 사전 훈련하여 일반화 가능한 특징 유사도를 캡처한다.
• 사전 훈련된 메트릭을 사용해 타겟 도메인의 소수의 레이블된 예시에서 대규모의 미레이블 이미지로 레이블을 전파한다.
• 전이된 메트릭을 유사도 측정 기준으로 사용하여 스펙트럴 클러스터링 기반의 레이블 전파를 수행하여 가짜 레이블을 생성한다.
• 기존의 레이블된 예시와 전파된 가짜 레이블로 구성된 확장된 훈련 세트를 기반으로 표준 지도 학습 분류기를 미세조정한다.
• 스펙트럴 임bedding 과정에서 고유벡터 수(η)와 온도(σ)와 같은 하이퍼파라미터를 최적화하여 안정적인 성능을 확보한다.
• 세 가지 다른 설정에서 프레임워크를 평가한다: CIFAR-10과 ImageNet에서의 준지도 학습, ImageNet에서 CIFAR-10로의 전이 학습, 그리고 mini-ImageNet에서의 저샷 인식.

실험 결과

연구 질문

• RQ1 소스 도메인에서 사전 훈련된 메트릭을 전이함으로써 저샷 학습 환경에서 레이블 전파 성능을 크게 향상시킬 수 있는가?
• RQ2 소수의 레이블 예시만 존재할 경우, 메트릭 전이 기법이 기존의 가짜 레이블링 또는 메타학습 기법보다 더 우수한가?
• RQ3 저샷 인식에서 타겟 도메인의 미레이블 데이터가 소스 도메인의 레이블 데이터보다 더 유용한가?
• RQ4 저샷 작업의 레이블 전파에 있어서 비지도 메트릭 사전 훈련이 지도 학습 기반 메트릭 학습보다 성능이 뛰어나지 않는가?
• RQ5 스펙트럴 클러스터링에서 고유벡터 수와 온도와 같은 하이퍼파라미터에 대한 레이블 전파 프레임워크의 성능 민감도는 어떠한가?

주요 결과

• 제안된 메트릭 전이 프레임워크는 준지도 학습 환경에서 CIFAR-10에서 클래스당 5~10개의 레이블만으로도 최신 기법 대비 20%p의 절대적 성능 향상을 달성한다.
• ImageNet에서 CIFAR-10로의 전이 학습에서, 기존의 기본 미세조정 기법 대비 성능을 10%p 향상시킨다.
• mini-ImageNet에서의 저샷 인식 작업에서, 단일 샘플 레이블만을 사용해도 이전의 베이스라인 대비 6%p의 성능 향상을 기록한다.
• 놀랍게도, 인스턴스 구별 기반 비지도 메트릭 사전 훈련이 지도 학습 기반 메트릭 학습보다 1-shot에서 0.5%p, 5-shot에서 2%p 높은 성능을 기록한다.
• 메트릭 학습 및 레이블 전파 기법의 조합에 관계없이 프레임워크는 높은 일반성과 민감도가 낮은 성능을 보이며, 특정 구성 요소에 의존하지 않는다.
• 제거 분석 결과, 스펙트럴 클러스터링에서 고유벡터 수(η)와 온도(σ)는 핵심이지만 조정 가능한 파라미터이며, 최적의 성능는 η ∈ [30, 200] 및 σ ∈ [10, 100] 범위에서 달성된다.