[논문 리뷰] Meta-Learned Confidence for Few-shot Learning

Seong Min Kye, Haebeom Lee외 2명|arXiv (Cornell University)|2020. 02. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 29

한 줄 요약

이 논문은 적은 샘플 학습에서 전이 추론 중에 레이블이 없는 쿼리 샘플에 대해 신뢰할 수 있고 입력에 적응하는 신뢰도 점수를 부여함으로써 성능을 햖스르는 메타학습된 신뢰도 메커니즘인 메타-신뢰도 전환(Meta-Confidence Transduction, MCT)을 제안한다. 다양한 모델 및 데이터 변형 하에서 거리 척도를 메타학습하고, 변형 간 및 임bedding 차원 간에 예측 일관성을 강제화함으로써 MCT는 네 개의 적은 샘플 벤치마크 데이터셋에서 최고 성능을 기록하며, 준지도 학습 기반의 적은 샘플 학습 정확도를 크게 향상시킨다.

ABSTRACT

Transductive inference is an effective means of tackling the data deficiency problem in few-shot learning settings. A popular transductive inference technique for few-shot metric-based approaches, is to update the prototype of each class with the mean of the most confident query examples, or confidence-weighted average of all the query samples. However, a caveat here is that the model confidence may be unreliable, which may lead to incorrect predictions. To tackle this issue, we propose to meta-learn the confidence for each query sample, to assign optimal weights to unlabeled queries such that they improve the model's transductive inference performance on unseen tasks. We achieve this by meta-learning an input-adaptive distance metric over a task distribution under various model and data perturbations, which will enforce consistency on the model predictions under diverse uncertainties for unseen tasks. Moreover, we additionally suggest a regularization which explicitly enforces the consistency on the predictions across the different dimensions of a high-dimensional embedding vector. We validate our few-shot learning model with meta-learned confidence on four benchmark datasets, on which it largely outperforms strong recent baselines and obtains new state-of-the-art results. Further application on semi-supervised few-shot learning tasks also yields significant performance improvements over the baselines. The source code of our algorithm is available at https://github.com/seongmin-kye/MCT.

연구 동기 및 목표

• 전이 적은 샘플 학습에서 모델의 신뢰도가 부정확할 경우 성능이 저하되는 문제를 해결하기 위해.
• 레이블이 없는 쿼리 데이터를 활용해 프로토타입 업데이트를 최적화하는 입력에 적응하는 신뢰도 점수를 학습하여 전이 추론 성능을 향상시키기 위해.
• 다양한 모델 및 데이터 변형 하에서 메타학습을 통해 신뢰도 신뢰도를 향상시켜, 미리 보지 않은 작업에서의 불확실성을 시뮬레이션하기 위해.
• 다른 변형과 임베딩 차원 간에 예측의 일관성을 강제하여 모델의 강건성과 일반화 능력을 향상시키기 위해.
• 전이 및 준지도 학습 기반의 적은 샘플 학습 벤치마크에서 방법을 검증하여 최고 성능을 달성하기 위해.

제안 방법

• 입력에 적응하는 거리 척도의 길이 척도 파라미터를 메타학습하여, 쿼리 샘플에 대해 개별 사례 기반의 신뢰도 점수를 부여할 수 있도록 하기 위해.
• 메타학습 기간 동안 모델 변형(예: 무작위 잔차 블록 제거)과 데이터 변형(예: RandAugment, CutOut)을 적용하여, 아직 보지 않은 작업에서의 불확실성을 시뮬레이션하기 위해.
• 테스트 시 다수의 변형된 전방 계산을 통해 얻은 신뢰도 점수의 앙상블 평균을 사용하여 강건성을 향상시키기 위해.
• 다양한 증강 기반에서 지원 세트와 쿼리 세트의 임베딩 분포를 정렬함으로써 지원 세트와 쿼리 세트 간의 일관성을 강제하기 위해.
• 고차원 임베딩 특징 간에 일관된 예측을 유도하는 차원별 일관성 정규화를 도입하기 위해.
• 분류, 프로토타입 업데이트, 일관성 목표를 결합한 공동 손실을 통해 종단 간 최적화를 위한 모델을 훈련하기 위해.

실험 결과

연구 질문

• RQ1 메타학습된 입력에 적응하는 신뢰도 점수는 적은 샘플 학습에서 전이 추론 성능을 향상시킬 수 있는가?
• RQ2 메타학습 기간 동안 사용된 모델 및 데이터 변형은 아직 보지 않은 작업에서의 신뢰도 추정 신뢰도에 어떤 영향을 미치는가?
• RQ3 다른 변형과 임베딩 차원 간에 예측 일관성을 강제하면 모델의 강건성과 정확도는 어느 정도 향상되는가?
• RQ4 제안된 방법은 준지도 학습 기반의 적은 샘플 학습으로 일반화되며, 이전의 베이스라인과 비교해 어떤가?
• RQ5 각 구성 요소(예: 메타학습된 척도, 변형, 일관성 정규화)가 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• MCT는 네 개의 적은 샘플 학습 벤치마크에서 최고 성능을 기록하며, 강력한 베이스라인보다 큰 폭으로 앞서나간다.
• miniImageNet에서 MCT는 1-shot 시 65.34%의 정확도를 기록했고, 5-shot 시 82.15%를 기록하여 개별 사례 기반 척도 베이스라인을 8.89%포인트 뛰어넘었다.
• 지원 세트에는 약한 증강, 쿼리 세트에는 강한 증강을 적용한 조합(w/s)이 가장 높은 성능을 냈으며, 이는 다양화된 쿼리 표현의 이점이 있음을 시사한다.
• 전역 평균 풀링(GAP)을 제거하고 밀도 있는 분류를 사용함으로써 성능 향상이 이루어졌으며, 이는 공간적 특징 정보를 유지하는 것이 효과적임을 보여준다.
• 제거 실험 결과, 메타학습된 신뢰도와 변형 기반 불확실성 모델링이 모두 안정적인 신뢰도 추정을 위해 필수적임을 확인했다.
• 준지도 학습 기반의 적은 샘플 학습에서 MCT는 베이스라인보다 뚜렷이 뛰어난 성능을 보이며, 전이 추론을 초월한 강력한 일반화 능력을 입증했다.