[논문 리뷰] Meta-learning for Few-shot Natural Language Processing: A Survey

Wenpeng Yin|arXiv (Cornell University)|2020. 07. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 63

한 줄 요약

Few-shot NLP에 적용된 메타학습 방법에 대한 포괄적 고찰로, 메트릭 기반 및 최적화 기반 접근법, 데이터셋, 영역 및 작업 간의 진행 상황을 자세히 다룹니다.

ABSTRACT

Few-shot natural language processing (NLP) refers to NLP tasks that are accompanied with merely a handful of labeled examples. This is a real-world challenge that an AI system must learn to handle. Usually we rely on collecting more auxiliary information or developing a more efficient learning algorithm. However, the general gradient-based optimization in high capacity models, if training from scratch, requires many parameter-updating steps over a large number of labeled examples to perform well (Snell et al., 2017). If the target task itself cannot provide more information, how about collecting more tasks equipped with rich annotations to help the model learning? The goal of meta-learning is to train a model on a variety of tasks with rich annotations, such that it can solve a new task using only a few labeled samples. The key idea is to train the model's initial parameters such that the model has maximal performance on a new task after the parameters have been updated through zero or a couple of gradient steps. There are already some surveys for meta-learning, such as (Vilalta and Drissi, 2002; Vanschoren, 2018; Hospedales et al., 2020). Nevertheless, this paper focuses on NLP domain, especially few-shot applications. We try to provide clearer definitions, progress summary and some common datasets of applying meta-learning to few-shot NLP.

연구 동기 및 목표

• Few-shot NLP에서의 메타학습 정의와 동기를 명확히 한다.
• 주요 메타학습 패러다임(메트릭 기반 및 최적화 기반)을 요약하고 이들이 NLP에 어떻게 적용되는지 설명한다.
• 대표 데이터셋을 바탕으로 NLP 작업 및 도메인 전반의 진행 상황을 개관한다.
• Few-shot NLP에 사용되는 데이터셋을 검토하고 실제 문제와 벤치마크를 강조한다.

제안 방법

• 임베딩 함수와 유사도 측정치를 이용한 메트릭 기반 메타학습을 설명한다(예: Siamese, Matching Networks, Prototypical Networks, Relation Networks).
• 최적화 기반 메타학습(MAML, FOMAML, Reptile 등)과 이들이 빠른 적응을 어떻게 학습하는지 설명한다.
• 메타학습과 전이 학습 및 다중 작업 학습을 비교한다. 0
• 문제 내 및 문제 간 메타학습 시나리오를 포함한 NLP 특화 진행 상황을 조사한다.
• 대표적인 NLP 데이터셋(FewRel, CLINC150, ARSC, SNIPS)과 그들이 Few-shot 평가에서 차지하는 역할을 요약한다.

실험 결과

연구 질문

• RQ1 어떤 메타학습 형식이 Few-shot NLP 작업에서 가장 효과적인가?
• RQ2 메트릭 기반과 최적화 기반 접근법은 NLP 성능과 학습 복잡도에서 어떻게 다른가?
• RQ3 메타학습이 도메인 간 및 서로 다른 NLP 작업 간에 어떻게 전달되는가?
• RQ4 어떤 데이터셋과 벤치마크가 Few-shot NLP 메타학습의 능력과 한계를 가장 잘 드러내는가?

주요 결과

• 메트릭 기반 메타학습은 학습된 임베딩과 거리 메트릭에 의존하여 적은 수의 예제로 분류한다.
• 최적화 기반 메타학습(MAML, FOMAML, Reptile)은 적은 수의 그래디언트 단계로 빠른 적응을 목표로 최적화한다.
• 여러 NLP 연구에서 메타학습 방법은 Few-shot 환경에서 Fine-tuned 베이스라인 및 일부 다중 작업 방법을 능가할 수 있다.
• 도메인별 감정 및 의도 분류, 관계 분류, 교차 도메인 작업 등에서 Few-shot NLP의 진행이 보고된다.
• FewRel 및 CLINC150 같은 데이터셋은 시뮬레이션된 Few-shot 평가에 널리 사용되며 보다 현실적인 벤치마크를 요구한다.