[논문 리뷰] Meta-Learning across Meta-Tasks for Few-Shot Learning

Nanyi Fei, Zhiwu Lu외 4명|arXiv (Cornell University)|2020. 02. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 52인용 수 12

한 줄 요약

이 논문은 소수 샘플 학습에서 메타-작업 간 상호관계를 활용하기 위해 두 가지 새로운 목적함수를 제안한다: 서로 다른 클래스 집합 간 도메인 갭을 다루기 위한 메타-도메인 적응(MDA), 그리고 저도메인 클래스에 대한 강건성을 향상시키기 위한 메타-지식 정착(MKD). 유망한 방법론적 기여에도 불구하고, 저자들은 실험 오류로 인해 논문을 철수하였다.

ABSTRACT

Existing meta-learning based few-shot learning (FSL) methods typically adopt an episodic training strategy whereby each episode contains a meta-task. Across episodes, these tasks are sampled randomly and their relationships are ignored. In this paper, we argue that the inter-meta-task relationships should be exploited and those tasks are sampled strategically to assist in meta-learning. Specifically, we consider the relationships defined over two types of meta-task pairs and propose different strategies to exploit them. (1) Two meta-tasks with disjoint sets of classes: this pair is interesting because it is reminiscent of the relationship between the source seen classes and target unseen classes, featured with domain gap caused by class differences. A novel learning objective termed meta-domain adaptation (MDA) is proposed to make the meta-learned model more robust to the domain gap. (2) Two meta-tasks with identical sets of classes: this pair is useful because it can be employed to learn models that are robust against poorly sampled few-shots. To that end, a novel meta-knowledge distillation (MKD) objective is formulated. There are some mistakes in the experiments. We thus choose to withdraw this paper.

연구 동기 및 목표

• 에피소드 기반 훈련 중 메타-작업 간 상관관계를 忽시하는 기존 메타학습 방법의 한계를 해결하기 위해.
• 소수 샘플 학습에서 본문 및 비본문 클래스 간 차이로 인한 도메인 갭에 대비한 모델 강건성을 향상시키기 위해.
• 동일한 클래스 집합을 가진 메타-작업을 활용하여 저샷 시나리오에서의 모델 일반화 능력을 향상시키기 위해.
• 소수 샘플 학습 성능 향상을 위해 메타-작업 간 상호관계를 활용하는 새로운 학습 목적함수 개발하기 위해.

제안 방법

• 서로 다른 클래스 집합을 가진 메타-작업 간 특징 표현을 정렬함으로써 도메인 갭을 완화하는 메타-도메인 적응(MDA)을 제안한다.
• 동일한 클래스 집합을 공유하는 메타-작업 간 지식 전달을 통해 저도메인 예측에 대한 강건성을 향상시키는 새로운 목적함수인 메타-지식 정착(MKD)을 도입한다.
• 균일하게 랜덤으로 선택하는 대신, 메타-작업 간 상호관계를 기반으로 전략적으로 메타-작업을 샘플링하는 훈련 전략을 설계한다.
• 다른 클래스를 가진 메타-작업 간 특징 분포를 정렬함으로써 소스-타겟 도메인 이동을 시뮬레이션하기 위해 MDA 목적함수를 사용한다.
• 성능이 우수한 메타-작업에서 성능이 열악하거나 표본 수가 적은 다른 메타-작업으로 지식을 정착시키기 위해 MKD를 활용한다.
• MDA와 MKD 목적함수를 통합된 메타학습 프레임워크 내에 통합하여 일반화 능력과 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 무작위 에피소드 샘플링을 초월해 메타-작업 간 상호관계를 어떻게 활용하여 소수 샘플 학습을 향상시킬 수 있는가?
• RQ2 메타-도메인 적응(MDA)이 본문 및 비본문 클래스 간 도메인 갭의 부정적 영향을 어느 정도 줄일 수 있는가?
• RQ3 메타-지식 정착(MKD)이 저대응 또는 저표본 수의 소수 샘플 예측에서 모델 성능을 향상시킬 수 있는가?
• RQ4 클래스 겹침 또는 분리성에 기반한 구조화된 메타-작업 샘플링 전략이 메타-학습기의 일반화에 어떤 영향을 미치는가?

주요 결과

• 제안된 메타-도메인 적응(MDA) 목적함수는 서로 다른 클래스 집합을 가진 메타-작업 간 도메인 이동에 대한 강건성을 향상시키기 위해 설계되었다.
• 메타-지식 정착(MKD)은 동일한 클래스를 가진 메타-작업 간 지식 전달을 통해 저표본 수 소수 샘플 예측의 성능을 향상시키기 위해 도입되었다.
• 저자들은 실험 평가에 심각한 오류를 발견하여 보고된 결과의 타당성을 떨어뜨렸다.
• 이러한 실험적 결함에도 불구하고, MDA 및 MKD 목적함수의 개념적 타당성에 기반해 저자들은 논문을 철수하기로 결정하였다.