[논문 리뷰] Adapted Deep Embeddings: A Synthesis of Methods for $k$-Shot Inductive Transfer Learning

Tyler R. Scott, Karl Ridgeway외 1명|arXiv (Cornell University)|2018. 05. 22.

Domain Adaptation and Few-Shot Learning인용 수 48

한 줄 요약

한 두 문장으로 직설적으로 답하는 요약: 이 논문은 k-shot inductive transfer를 위한 weight transfer, deep metric learning, few-shot learning을 비교하고, embedding 기반 손실과 목표 도메인 적응을 결합한 Adapted Embeddings (AdaptHistLoss 및 AdaptProtoNet)를 도입하여 상당한 성능 향상을 달성한다.

ABSTRACT

The focus in machine learning has branched beyond training classifiers on a single task to investigating how previously acquired knowledge in a source domain can be leveraged to facilitate learning in a related target domain, known as inductive transfer learning. Three active lines of research have independently explored transfer learning using neural networks. In weight transfer, a model trained on the source domain is used as an initialization point for a network to be trained on the target domain. In deep metric learning, the source domain is used to construct an embedding that captures class structure in both the source and target domains. In few-shot learning, the focus is on generalizing well in the target domain based on a limited number of labeled examples. We compare state-of-the-art methods from these three paradigms and also explore hybrid adapted-embedding methods that use limited target-domain data to fine tune embeddings constructed from source-domain data. We conduct a systematic comparison of methods in a variety of domains, varying the number of labeled instances available in the target domain ($k$), as well as the number of target-domain classes. We reach three principal conclusions: (1) Deep embeddings are far superior, compared to weight transfer, as a starting point for inter-domain transfer or model re-use (2) Our hybrid methods robustly outperform every few-shot learning and every deep metric learning method previously proposed, with a mean error reduction of 34% over state-of-the-art. (3) Among loss functions for discovering embeddings, the histogram loss (Ustinova & Lempitsky, 2016) is most robust. We hope our results will motivate a unification of research in weight transfer, deep metric learning, and few-shot learning.

연구 동기 및 목표

• 세 가지 ITL 패러다임의 효과를 varying k와 n에 따라 평가한다.
• 한정된 목표 도메인 데이터로 임베딩을 적응시키는 하이브리드 접근법을 평가한다.
• 어떤 손실과 적응 전략이 교차 도메인 전달 성능을 가장 잘 내는지 파악한다.
• 적응 임베딩을 통해 전달, 메트릭 학습, Few-shot 학습을 통합하기 위한 지침을 제공한다.

제안 방법

• 여러 데이터셋과 구성을 대상으로 six methods(WeightAdapt, HistLoss, ProtoNet, AdaptHistLoss, AdaptProtoNet, Baseline)의 체계적 실험 비교.
• 타깃 도메인에서 클래스당 라벨 예시 수(k)와 타깃 클래스 수(n)를 다양화하여 성능 지형을 매핑한다.
• HistLoss 또는 ProtoNet으로 학습된 소스 도메인 임베딩을 사용하고 임베딩의 미세 튜닝을 통해 타깃 도메인 적응을 적용한다.
• 타깃 도메인에서 임베딩을 미세 튜닝하되 소스 도메인 임베딩 구조를 유지하여 적응 임베딩을 도입한다.
• 구성당 실험을 10회 재현하여 고정된 소스/타깃 클래스 분할로 로버스트함을 평가한다.

실험 결과

연구 질문

• RQ1 어떤 ITL 패러다임이 k 및 n에 걸쳐 가장 강력한 baseline 성능을 보이는가?
• RQ2 AdaptHistLoss, AdaptProtoNet 등 적응 임베딩이 비적응 임베딩 및 비임베딩 전달 방법을 데이터셋 간에 능가하는가?
• RQ3 HistLoss가 k-shot ITL에서 deepest metric learning 손실들 중 가장 견고한 임베딩 손실인가?
• RQ4 k가 매우 작게부터 크게 확장될 때 가중치 전달 방법은 임베딩 기반 접근법과 비교하여 어떤 차이점이 있는가?
• RQ5 임베딩 손실과 목표 도메인 적응을 결합한 하이브리드 접근법이 다양한 도메인에서 일관된 향상을 제공할 수 있는가?

주요 결과

• Adapted embeddings는 모든 데이터셋 및 구성을 거치며 k>1일 때 비적응 임베딩 및 적응 비임베딩 방법보다 일관되게 우수하다.
• AdaptHistLoss가 일반적으로 AdaptProtoNet보다 강력한 성능을 제공하는 적응 방법들 중 가장 강한 성능을 보인다.
• WeightAdapt는 테스트된 k 및 n 설정에서 적응 임베딩보다 열등하며, k가 증가함에 따라 그 이점이 감소한다.
• 데이터셋 전반에 걸쳐 적응 임베딩은 최상의 대안 방법들보다 평균 34%의 오차 감소를 달성한다.
• HistLoss는 소형-k ITL에 대해 평가된 임베딩 손실 중 가장 강력한 것으로 확인되었으며, ProtoNet은 k가 증가함에 따라 어려움을 겪지만 적응의 이점을 얻는다.
• 전반적으로 적응 임베딩은 기존 접근법에 비해 상당하고 체계적인 개선을 제공하며 이러한 연구 흐름의 통합을 촉진한다.