[논문 리뷰] Meta-Learning with Fewer Tasks through Task Interpolation

Huaxiu Yao, Linjun Zhang외 1명|arXiv (Cornell University)|2021. 06. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 44인용 수 11

한 줄 요약

이 논문은 메타학습의 일반화 성능을 향상시키기 위해 메타학습 태스크 간의 특징과 레이블을 선형 보간하여 합성 태스크를 생성하는 메타학습과 태스크 보간(Meta-Learning with Task Interpolation, MLTI)을 제안한다. 이는 메타학습 태스크 수가 적은 환경에서 특히 유용하며, 다양한 도메인의 8개의 데이터셋에서 상태최저 성능을 기록한다. 특히 기울기 기반 및 거리기반 메타학습 설정 모두에서 기존 최고 성능 방법들을 능가하며, 소수의 학습 샘플을 가진 환경에서 최대 3.5%의 정확도 향상을 기록한다.

ABSTRACT

Meta-learning enables algorithms to quickly learn a newly encountered task with just a few labeled examples by transferring previously learned knowledge. However, the bottleneck of current meta-learning algorithms is the requirement of a large number of meta-training tasks, which may not be accessible in real-world scenarios. To address the challenge that available tasks may not densely sample the space of tasks, we propose to augment the task set through interpolation. By meta-learning with task interpolation (MLTI), our approach effectively generates additional tasks by randomly sampling a pair of tasks and interpolating the corresponding features and labels. Under both gradient-based and metric-based meta-learning settings, our theoretical analysis shows MLTI corresponds to a data-adaptive meta-regularization and further improves the generalization. Empirically, in our experiments on eight datasets from diverse domains including image recognition, pose prediction, molecule property prediction, and medical image classification, we find that the proposed general MLTI framework is compatible with representative meta-learning algorithms and consistently outperforms other state-of-the-art strategies.

연구 동기 및 목표

• 의료 영상과 같이 데이터 프라이버시 및 가용성으로 인해 태스크 다양성이 제한되는 실세계 응용 분야에서 메타학습 태스크 수가 부족한 문제를 해결한다.
• 메타학습 태스크의 분포를 충분히 커버하지 못해 메타학습 모델이 희소한 메타학습 태스크를 기억하는 일반화 실패 문제를 해결한다.
• 기존 모델 아키텍처를 수정하지 않고도 기존 태스크 외의 추가 데이터가 없이도 태스크 분포를 더욱 조밀하게 만드는 태스크 수준의 증강 전략을 개발한다.
• 모델 아키텍처나 데이터에 영향을 주지 않고 메타학습 알고리즘과 정규화 기법에 호환성을 확보하기 위해 태스크 수준에서만 작동하도록 한다.
• 태스크 보간이 메타학습의 일반화 성능 향상에 기여하는 데이터 적응형 정규화 효과를 이론적으로 입증한다.

제안 방법

• 기존 메타학습 태스크의 무작위 쌍 간의 특징과 레이블을 선형 보간하여 새로운 메타학습 태스크를 생성한다.
• 두 가지 변형을 구현한다: 동일한 클래스 집합을 가진 태스크(예: RainbowMNIST)에 적합한 레이블 공유(LS) 방식과 서로 다른 클래스 집합을 가진 태스크(예: miniImageNet)에 적합한 비레이블 공유(NLS) 방식.
• LS에서는 특징과 레이블을 모두 보간하고, NLS에서는 두 개의 다른 태스크에서 샘플된 클래스의 특징을 보간하여 새로운 클래스를 구성한다.
• 보간은 메타학습 기간 동안만 적용하며, 메타테스트에선 원래의 태스크 분포를 유지한다.
• 어떤 메타학습 알고리즘(MAML, ProtoNets 등)과도 통합 가능하며, 기존 정규화 기법과도 조합할 수 있다.
• 이론적 분석을 통해 MLTI가 과적합을 줄이고 일반화 성능을 향상시키는 데이터 적응형 메타정규화 역할을 한다고 밝혔다.

실험 결과

연구 질문

• RQ1 사용 가능한 태스크 수가 제한된 상황에서 기존 메타학습 태스크 간의 보간이 메타일반화 성능 향상에 기여하는가?
• RQ2 기존 태스크 내 데이터 증강 방식보다 MLTI가 더 효과적인 정규화 효과를 제공하는가?
• RQ3 이상적, 의료 영상 분류, 자세 예측 등 다양한 도메인에서 MLTI는 어떤 성능을 보이는가?
• RQ4 MLTI는 기울기 기반 및 거리기반 메타학습 프레임워크와 효과적으로 통합될 수 있는가?
• RQ5 태스크 보간이 메타학습에서 이론적으로 타당한 정규화 효과를 유도하는가?

주요 결과

• MLTI는 miniImageNet, ISIC, DermNet, Huffpost 등 8개의 실제 데이터셋에서 기존 6개의 최고 성능 메타학습 정규화 방법들을 일관되게 능가한다.
• 1-shot 학습에서 miniImageNet-S에서 MAML의 정확도를 기존 방식의 38.27%에서 MLTI로 41.58%로 향상시켜 3.31%p의 절대적 향상을 기록했다.
• 동일한 데이터셋에서 5-shot 학습 시 MLTI는 MAML로 55.22%의 정확도를 기록했으며, 기존 기준 대비 3.08%p 향상되었다.
• 크로스도메인 적응(기존 miniImageNet → DermNet) 상황에서 MLTI는 MAML로 1-shot 정확도를 33.67%에서 36.74%로 향상시켜 도메인 간 전이 성능 향상을 보였다.
• ProtoNets를 사용할 경우, 5-shot miniImageNet-S에서 MLTI는 55.34%의 정확도를 기록했으며, 기존 기준 대비 5.02%p 향상되었다.
• 모든 평가된 백본과 데이터셋에서 일관된 성능 향상을 보였으며, NLP(Huffpost) 및 테이블 데이터(탭류럴 머리스)까지 포함하여 광범위한 호환성과 효과성을 입증했다.