[논문 리뷰] All you need is a good representation: A multi-level and classifier-centric representation for few-shot learning.

Shaoli Huang, Dacheng Tao|arXiv (Cornell University)|2019. 11. 28.

Domain Adaptation and Few-Shot Learning인용 수 12

한 줄 요약

이 논문은 적은 샘플로 학습하는 경우 일반화 능력과 분류기의 구분 능력을 향상시키기 위해 국소적, 전역적, 고차원적 특징을 융합하는 다수준, 분류기 중심의 표현을 제안한다. 분류기 중심의 손실을 강제 적용함으로써, 적은 샘플로도 효과적인 분류가 가능해지며, 저샷 벤치마크에서 최신 기술을 초월하고 도메인 이동에 대해 강력한 내성성을 보여준다.

ABSTRACT

The main problems of few-shot learning are how to learn a generalized representation and how to construct discriminant classifiers with few-shot samples. We tackle both issues by learning a multi-level representation with a classifier-centric constraint. We first build the multi-level representation by combining three different levels of information: local, global, and higher-level. The resulting representation can characterize new concepts with different aspects and present more universality. To overcome the difficulty of generating classifiers by several shot features, we also propose a classifier-centric loss for learning the representation of each level, which forces samples to be centered on their respective classifier weights in the feature space. Therefore, the multi-level representation learned with classifier-centric constraint not only can enhance the generalization ability, but also can be used to construct the discriminant classifier through a small number of samples. Experiments show that our proposed method, without training or fine-tuning on novel examples, can outperform the current state-of-the-art methods on two low-shot learning datasets. We further show that our approach achieves a significant improvement over baseline method in cross-task validation, and demonstrate its superiority in alleviating the domain shift problem.

연구 동기 및 목표

• 제한된 지원 샘플을 가진 적은 샘플 학습에서 일반화된 표현을 학습하는 데 도전하는 것.
• 특히 새로운 클래스에 대해 훈련 데이터가 부족할 경우 분류기의 구분 능력을 향상시키는 것.
• 특징 표현의 내성성을 향상시켜 도메인 이동에 대한 민감도를 줄이는 것.
• 새로운 예시에 대한 미세조정이 필요 없는 표현 학습 프레임워크를 개발하는 것.
• 단일 훈련 목표에서 다수준 특징 추상화와 분류기 최적화를 통합하는 것.

제안 방법

• 모델은 국소적, 전역적, 고차원적 특징을 융합하여 입력 데이터의 다양한 측면을 포괄하는 다수준 표현을 구성한다.
• 특징 임bedding이 특징 공간에서 해당 분류기 가중치 벡터 쪽으로 끌어당겨지도록 유도하는 분류기 중심의 손실을 도입한다.
• 분류기 중심의 제약 조건이 표현의 각 수준에 적용되어, 각 수준이 구분 능력 있는 분류기 학습에 기여하도록 보장한다.
• 제안된 분류기 중심 정규화와 함께 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 최종 표현은 새로운 클래스나 지원 세트에 대한 미세조정 없이 직접 추론에 사용된다.
• 공유 백본 네트워크를 활용하여 다양한 추상 수준에서 특징을 추출하고, 이를 융합하여 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 저샷 조건에서 다수준 표현이 일반화 능력을 향상시킬 수 있는가?
• RQ2 분류기 중심의 특징 정렬을 강제 적용하면 적은 샘플로도 분류기 성능이 향상되는가?
• RQ3 제안된 방법이 새로운 예시에 대한 미세조정 없이도 뛰어난 성능을 달성할 수 있는가?
• RQ4 교차 작업 적은 샘플 학습 시나리오에서 이 방법은 도메인 이동을 얼마나 효과적으로 완화하는가?
• RQ5 기본적인 표현 학습과 비교했을 때, 분류기 중심의 손실은 구분 능력을 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 새로운 예시에 대한 미세조정 없이도 두 개의 저샷 학습 벤치마크에서 현재 최신 기술을 능가한다.
• 교차 작업 검증에서 기준 모델 대비 뚜렷한 성능 향상을 보이며, 다양한 적은 샘플 작업 간의 강력한 일반화 능력을 나타낸다.
• 분류기 중심의 손실은 클래스 중심 주변의 특징 클러스터링을 효과적으로 향상시켜, 적은 샘플로도 구분 능력을 향상시킨다.
• 다수준 표현은 국소적, 전역적, 고차원적 추상화 수준에서 새로운 개념의 다양한 측면을 포착함으로써 더 넓은 일반성(유니버설리티)을 보여준다.
• 이 방법은 도메인 이동에 대해 강력한 내성성을 보이며, 분포가 다른 데이터나 이동된 데이터 분포에서도 성능을 유지한다.
• 제거 분석 결과, 다수준 특징 융합과 분류기 중심의 손실이 최종 성능 향상에 기여하는 데 중요한 역할을 한다는 것이 확인되었다.