[논문 리뷰] Expert Training: Task Hardness Aware Meta-Learning for Few-Shot Classification

Yucan Zhou, Yu Wang외 4명|arXiv (Cornell University)|2020. 07. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 9

한 줄 요약

이 논문은 쉽게 어려운 작업들보다 먼저 쉽게 어려운 작업들에 대해 순차적으로 훈련하는 작업 난이도 인식 메타학습 프레임워크인 Expert Training을 제안한다. HSIC 및 유클리드 거리와 같은 지표를 사용해 카테고리 간 구별 가능성(구분 가능성)을 추정하는 작업 난이도 인식 모듈(THAM)을 통합함으로써 메타학습기의 일반화 능력을 향상시켜, 특히 5웨이-1샷 설정에서 miniImageNet과 tieredImageNetSketch에서 최신 기준 성능을 달성한다.

ABSTRACT

Deep neural networks are highly effective when a large number of labeled samples are available but fail with few-shot classification tasks. Recently, meta-learning methods have received much attention, which train a meta-learner on massive additional tasks to gain the knowledge to instruct the few-shot classification. Usually, the training tasks are randomly sampled and performed indiscriminately, often making the meta-learner stuck into a bad local optimum. Some works in the optimization of deep neural networks have shown that a better arrangement of training data can make the classifier converge faster and perform better. Inspired by this idea, we propose an easy-to-hard expert meta-training strategy to arrange the training tasks properly, where easy tasks are preferred in the first phase, then, hard tasks are emphasized in the second phase. A task hardness aware module is designed and integrated into the training procedure to estimate the hardness of a task based on the distinguishability of its categories. In addition, we explore multiple hardness measurements including the semantic relation, the pairwise Euclidean distance, the Hausdorff distance, and the Hilbert-Schmidt independence criterion. Experimental results on the miniImageNet and tieredImageNetSketch datasets show that the meta-learners can obtain better results with our expert training strategy.

연구 동기 및 목표

• 표준 메타학습의 한계를 해결하기 위해, 무작위로 샘플링된 작업들이 동일하게 취급되는 문제로 인해 수렴이 불량하고 성능이 최적화되지 않는 것을 해결하고자 한다.
• 쉬운 작업들을 먼저 처리하는 커리큘럼 학습 전략을 도입함으로써 메타학습기의 일반화 능력을 향상시키고자 한다.
• few-shot 에피소드에서 카테고리 간 구별 가능성에 기반해 작업 난이도를 추정하는 작업 난이도 인식 모듈(THAM)을 설계하고자 한다.
• 메타학습 성능에 영향을 주는 다양한 난이도 측정 방법—의미 관계, 쌍별 유클리드 거리, 하우스도르프 거리, HSIC—의 효과를 평가하고자 한다.
• 추정된 난이도에 따라 훈련 작업을 재정렬함으로써, 새로운, 미리 보지 않은 few-shot 작업에서 더 나은 일반화 성능을 달성할 수 있음을 입증하고자 한다.

제안 방법

• 이 방법은 두 단계 훈련 전략을 도입한다: 첫 번째로 쉬운 작업에서 기본 분류 능력을 기르는 주요 학습 단계; 두 번째로 어려운 작업에 집중하여 메타학습기를 정교화하는 고급 단계.
• 카테고리 수준의 구별 가능성 지표를 사용해 작업 난이도를 추정하는 작업 난이도 인식 모듈(THAM)을 메타훈련 파이프라인에 통합한다.
• THAM은 두 가지 형태로 구현된다: 클래스 의미에 기반한 의미적 THAM(Se-THAM)과, HSIC 및 유클리드 거리와 같은 미분 가능한 거리 지표를 사용하는 계산 가능한 THAM(Co-THAM).
• 난이도 점수는 훈련 중 메타손실을 재가중하는 데 사용되며, 두 번째 단계에서 어려운 작업을 우선순위로 하여 커리큘럼 학습이 동적으로 적용되도록 한다.
• 이 프레임워크는 MAML과 Relation Net에 적용되었으며, MTL 환경에서 사전 학습된 ResNet-12 백본을 활용하여 최신 기준 성능을 달성하였다.
• 훈련은 에피소드 기반 메타학습을 사용하며, 지원/질의 데이터 분할을 적용하고, 메타학습기는 이제 추정된 작업 난이도에 조건화된 질의 손실 역전파를 통해 업데이트된다.

실험 결과

연구 질문

• RQ1 쉬운 작업에서 어려운 작업으로 순서를 정렬하는 커리큘럼 학습 전략이 few-shot 이미지 분류에서 메타학습기 성능을 향상시킬 수 있는가?
• RQ2 few-shot 에피소드에서 카테고리 간 구별 가능성을 반영하는 방식으로 작업 난이도를 효과적으로 추정할 수 있는가?
• RQ3 의미 유사도, 유클리드 거리, 하우스도르프 거리, HSIC와 같은 다양한 난이도 측정 방법을 사용할 경우, 메타학습기 훈련 성능에 유의미한 차이가 발생하는가?
• RQ4 난이도 인식 커리큘럼 학습을 통한 전문 훈련은 표준 메타학습 및 어려운 작업 전용 훈련 전략보다 더 나은 일반화 성능을 보일 수 있는가?
• RQ5 테스트 중에 다양한 작업 난이도 수준에서 전문 훈련의 성능는 어떻게 변화하는가? 특히 의미적으로 쉬운 작업과 어려운 작업에서의 성능 변화는 어떠한가?

주요 결과

• Co-THAM-HSIC를 사용한 Expert Training은 5웨이-1샷 miniImageNet에서 49.54%의 정확도를 기록하여, 표준 MAML(48.70%)과 MAML-HT(49.10%)를 초월했다.
• 5웨이-5샷 작업에서는 66.10%의 정확도를 기록하여, 베이스라인 MAML(63.11%)과 MAML-HT(64.10%)보다 뚜렷한 향상을 보였다.
• tieredImageNetSketch에서는 의미적으로 쉬운 작업에서 84.70%의 정확도, 어려운 작업에서는 63.02%의 정확도를 기록하여, Meta-SGD보다 각각 6.31%와 4.43% 높은 성능을 보였다.
• MTL-ResNet-ET-Co-THAM-HSIC 모델은 5웨이-1샷에서 62.01%, 5웨이-5샷에서 75.27%의 정확도를 기록하여, miniImageNet에서 새로운 최고 기록을 수립했다.
• 결과적으로 더 큰 배치 크기가 성능 향상에 기여함을 확인하여, 메타업데이트당 더 많은 훈련 작업을 활용함으로써 성능 향상이 가능함을 시사하며, 확장 가능성 잠재력을 보였다.
• Co-THAM 버전이 일관되게 Se-THAM를 능가함을 통해, 미분 가능한 종단 간 난이도 추정이 메타학습기 최적화와 더 효과적으로 통합됨을 시사했다.