[논문 리뷰] Prototype Rectification for Few-Shot Learning

Jinlu Liu, Liang Song외 1명|arXiv (Cornell University)|2019. 11. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 15

한 줄 요약

이 논문은 적자원 학습을 위한 프로토타입 보정 기법을 제안한다. 이 기법은 전도적 설정에서 가짜 레이블링과 특징 이동을 통해 내부 클래스 및 교차 클래스 편향을 줄이는 방식으로, 최신 기준 성능을 달성한다. miniImageNet에서 1-shot일 경우 70.31%, 5-shot일 경우 81.89%의 정확도를 기록했으며, tieredImageNet 및 Meta-Dataset를 포함한 다양한 벤치마크에서 뛰어난 일반화 성능을 보였다.

ABSTRACT

Few-shot learning requires to recognize novel classes with scarce labeled data. Prototypical network is useful in existing researches, however, training on narrow-size distribution of scarce data usually tends to get biased prototypes. In this paper, we figure out two key influencing factors of the process: the intra-class bias and the cross-class bias. We then propose a simple yet effective approach for prototype rectification in transductive setting. The approach utilizes label propagation to diminish the intra-class bias and feature shifting to diminish the cross-class bias. We also conduct theoretical analysis to derive its rationality as well as the lower bound of the performance. Effectiveness is shown on three few-shot benchmarks. Notably, our approach achieves state-of-the-art performance on both miniImageNet (70.31% on 1-shot and 81.89% on 5-shot) and tieredImageNet (78.74% on 1-shot and 86.92% on 5-shot).

연구 동기 및 목표

• 희소한 레이블 데이터로 인해 프로토타입이 편향되면서 발생하는 성능 저하 문제를 해결하기 위해.
• 프로토타입의 대표성에 제약을 주는 두 가지 핵심 내부 요인인 내부 클래스 편향과 교차 클래스 편향을 규명하고 이를 완화하기 위해.
• 전도적 적자원 학습에서 일반화 성능을 향상시키는 단순하면서도 효과적인 프로토타입 보정 방법을 개발하기 위해.
• 제안된 방법에 대한 이론적 근거를 제공하기 위해, 성능의 하한 경계와 이동 항목의 유도 과정을 포함하기 위해.
• miniImageNet, tieredImageNet, Meta-Dataset를 포함한 여러 적자원 벤치마크에서 최신 기준 성능을 입증하기 위해.

제안 방법

• 전도적 설정에서 프로토타입을 보정하기 위해 가짜 레이블링과 특징 이동을 조합한 편향 감소 모듈(BD-CSPN)을 제안한다.
• 내부 클래스 편향을 줄이기 위해 고신뢰도의 미레이블링 샘플을 활용한 가짜 레이블링을 적용하며, 새로운 편향을 유도하지 않도록 가중 평균을 사용한다.
• 지원 샘플의 특징과 쿼리 특징 간의 정렬을 향상시켜 교차 클래스 편향을 줄이기 위해 이동 항목 ξ를 도입한다.
• 특징 추출 및 초깃값 프로토타입 계산을 위해 코사인 유사도 기반의 프로토타입 네트워크(CSPN)를 사용한다.
• 성능에 대한 이론적 하한 경계를 도출하여 샘플 수와 기대 정확도 간의 정적 상관관계를 보여준다.
• 기본 클래스 학습 시 표준 데이터 증강 및 최적화 설정(SGD와 모멘타ム, 가중치 감쇠)을 사용한다.

실험 결과

연구 질문

• RQ1 내부 클래스 및 교차 클래스 편향은 적자원 학습에서 프로토타입의 대표성에 어떻게 영향을 미치는가?
• RQ2 신뢰도 기반 선택을 통한 가짜 레이블링은 낮은 데이터 환경에서 내부 클래스 편향을 효과적으로 줄일 수 있는가?
• RQ3 특징 이동은 지원 및 쿼리 분포 간의 정렬을 향상시켜 교차 클래스 편향을 줄이는가?
• RQ4 코사인 유사도 기반 프로토타입 네트워크에서 성능의 이론적 하한 경계는 무엇이며, 샘플 크기와 어떻게 관련되는가?
• RQ5 가짜 레이블링과 특징 이동을 조합한 단순하고 모듈화된 접근 방식이 복잡한 적자원 학습 모델을 능가할 수 있는가?

주요 결과

• 제안된 BD-CSPN은 miniImageNet에서 1-shot일 경우 70.31%의 정확도, 5-shot일 경우 81.89%의 정확도를 기록하여 새로운 최신 기준 성능을 달성했다.
• tieredImageNet에서의 성능은 1-shot일 경우 78.74%, 5-shot일 경우 86.92%를 기록했으며, 이는 이전 방법들을 능가하는 결과였다.
• Omniglot에서 BD-CSPN는 5-shot 10-way 작업에서 최대 99.85%의 정확도를 기록했으며, 뛀난 강건성과 일반화 성능을 입증했다.
• CUB에서의 5-shot 설정에서 기준 모델인 CSPN 대비 정확도가 10% 이상 향상되었으며, WRN-28-10를 사용할 경우 91.74%의 정확도를 달성했다.
• 높은 방향성 작업(최대 1000-way)에서도 BD-CSPN는 우수한 성능을 유지했으며, Meta-Dataset(1000-way 5-shot)에서 85.87%의 정확도를 기록했다.
• 미레이블링 데이터에 대해 강건성을 보였으며, 5개의 추가 클래스가 미레이블링 샘플로 추가되었을 경우 5-shot 정확도가 오직 2.64% 감소하는 데 그쳤다.