[논문 리뷰] Transductive Few-shot Learning with Meta-Learned Confidence.

Seong Min Kye, Haebeom Lee외 2명|arXiv (Cornell University)|2020. 02. 27.

Domain Adaptation and Few-Shot Learning인용 수 23

한 줄 요약

이 논문은 희소한 few-shot 학습에서의 성능 저하를 방지하기 위해 모델이 학습한 신뢰도 점수를 기반으로 비라벨링된 쿼리 샘플을 적응적으로 가중치를 매기는 메타학습된 신뢰도를 제안한다. 변형된 입력에 대해 적응적인 거리 척도를 메타학습하고, 임베딩 차원 간의 예측 일관성을 강제함으로써, 이 방법은 네 가지 벤치마크에서 최신 기술 수준의 성능을 달성하며, 준지도 학습 환경에서의 성능 향상도 크게 확보한다.

ABSTRACT

Transductive inference is an effective means of tackling the data deficiency problem in few-shot learning settings. A popular transductive inference technique for few-shot metric-based approaches, is to update the prototype of each class with the mean of the most confident query examples, or confidence-weighted average of all the query samples. However, a caveat here is that the model confidence may be unreliable, which may lead to incorrect predictions. To tackle this issue, we propose to meta-learn the confidence for each query sample, to assign optimal weights to unlabeled queries such that they improve the model's transductive inference performance on unseen tasks. We achieve this by meta-learning an input-adaptive distance metric over a task distribution under various model and data perturbations, which will enforce consistency on the model predictions under diverse uncertainties for unseen tasks. Moreover, we additionally suggest a regularization which explicitly enforces the consistency on the predictions across the different dimensions of a high-dimensional embedding vector. We validate our few-shot learning model with meta-learned confidence on four benchmark datasets, on which it largely outperforms strong recent baselines and obtains new state-of-the-art results. Further application on semi-supervised few-shot learning tasks also yields significant performance improvements over the baselines. The source code of our algorithm is available at this https URL.

연구 동기 및 목표

• 이행적 few-shot 학습에서 신뢰도가 떨어지는 모델 예측이 클래스 프로토타입 갱신에 악영향을 미치는 문제를 해결하기 위해.
• 메타학습을 통해 비라벨링된 쿼리 샘플에 대한 최적의 가중치를 학습하여 이행적 추론 성능을 향상시키기 위해.
• 변형된 데이터와 모델 변종에 걸쳐 일관된 거리 척도를 메타학습함으로써 분포 이탈과 불확실성에 대비한 강건성을 확보하기 위해.
• 고차원 임베딩 벡터의 각 차원 간에 명시적인 일관성을 강제하여 예측 신뢰도를 향상시키기 위해.
• 표준 few-shot 학습 벤치마크에서 최신 기술 수준의 성능를 달성하고, 준지도 학습 환경에서의 성능 향상도 도모하기 위해.

제안 방법

• 다양한 모델 및 데이터 변형 하에서 작업 분포에 대해 메타학습을 통해 입력에 적응적인 거리 척도를 학습하여 신뢰도 신뢰성을 향상시키기 위해.
• 메타학습된 신뢰도를 활용해 이행적 추론 중 비라벨링된 쿼리 샘플에 최적의 가중치를 할당함으로써 프로토타입 갱신을 향상시키기 위해.
• 임베딩 공간의 다양한 차원 간에 예측 일관성을 강제하는 정규화를 적용하여 분산을 줄이고 강건성을 향상시키기 위해.
• 작업 분포를 사용해 끝에서 끝까지(end-to-end) 신뢰도 모델을 훈련시켜, 미리 보지 않은 few-shot 작업에 일반화할 수 있도록 하기 위해.
• 메트릭 기반 few-shot 학습 프레임워크에 신뢰도 메커니즘을 통합하여 동적이고 적응적인 프로토타입 개선을 가능하게 하기 위해.
• 메타학습 중에 변형을 활용하여 불확실성을 시뮬레이션하고, 노이즈가 있거나 모호한 쿼리가 포함된 새로운 작업에 잘 일반화되도록 하기 위해.

실험 결과

연구 질문

• RQ1 메타학습된 신뢰도가 비라벨링된 쿼리 샘플에 더 나은 가중치를 할당함으로써 이행적 추론의 신뢰성 향상에 기여할 수 있는가?
• RQ2 변형 조건 하에서 메타학습된 거리 척도가 새로운 few-shot 작업에서의 강건성과 일반화 능력을 어떻게 향상시키는가?
• RQ3 임베딩 차원 간의 일관성 강제가 예측 안정성과 정확도 향상에 어느 정도 기여하는가?
• RQ4 제안된 방법이 표준 few-shot 학습 벤치마크에서 최신 기술 수준의 성능를 달성하는가?
• RQ5 메타학습된 신뢰도 메커니즘이 준지도 학습 few-shot 학습 환경으로 효과적으로 이식 가능한가?

주요 결과

• 제안된 방법은 네 가지 표준 few-shot 학습 벤치마크 데이터셋에서 새로운 최신 기술 수준의 성능를 달성하며, 강력한 최근 기준 모델들을 능가한다.
• 준지도 학습 환경에서의 성능 향상이 뚜렷하게 나타나, 메타학습된 신뢰도가 저자료 환경에서 매우 효과적임을 입증한다.
• 임베딩 차원 간의 일관성 강제 정규화가 예측 안정성을 향상시키고 더 나은 일반화에 기여한다.
• 변형 조건 하에서 메타학습된 신뢰도로 인해 더 신뢰도 높고 강건한 프로토타입 갱신이 가능해져, 과신하거나 잘못된 예측의 영향을 줄였다.
• 제거 실험을 통해 메타학습된 신뢰도와 일관성 정규화가 최적의 성능를 달성하는 데 핵심적인 역할을 한다는 것이 확인되었다.