[논문 리뷰] When Low Resource NLP Meets Unsupervised Language Model: Meta-pretraining Then Meta-learning for Few-shot Text Classification

Shumin Deng, Ningyu Zhang외 3명|arXiv (Cornell University)|2019. 08. 22.

Topic Modeling참고 문헌 21인용 수 11

한 줄 요약

이 논문은 저자원 환경에서 소수의 샘플로 텍스트 분류 성능을 향상시키기 위해 비지도 언어 모델 사전학습과 메타학습을 융합한 메타-사전학습 후 메타학습(MTM) 프레임워크를 제안한다. 작업에 종속되지 않는 표현과 작업에 특화된 표현을 분리함으로써 MTM는 ARSC 벤치마크에서 90.01%의 정확도로 최신 기술 수준(SOTA) 성능을 달성하여 이전 방법들을 크게 능가한다.

ABSTRACT

Text classification tends to be difficult when data are deficient or when it is required to adapt to unseen classes. In such challenging scenarios, recent studies have often used meta-learning to simulate the few-shot task, thus negating implicit common linguistic features across tasks. This paper addresses such problems using meta-learning and unsupervised language models. Our approach is based on the insight that having a good generalization from a few examples relies on both a generic model initialization and an effective strategy for adapting this model to newly arising tasks. We show that our approach is not only simple but also produces a state-of-the-art performance on a well-studied sentiment classification dataset. It can thus be further suggested that pretraining could be a promising solution for few-shot learning of many other NLP tasks. The code and the dataset to replicate the experiments are made available at https://github.com/zxlzr/FewShotNLP.

연구 동기 및 목표

• 라벨이 부족한 상황에서 새로운 클래스가 훈련 중에 등장하지 않을 때 소수의 샘플로 텍스트 분류를 수행하는 데 도전하는 문제를 해결하기 위해.
• 작업에 종속되지 않는 표현과 작업에 특화된 표현을 명시적으로 분리함으로써 저자원 NLP 환경에서 모델의 일반화 능력을 향상시키기 위해.
• 소수의 샘플 학습 환경에서 더 나은 초기화와 적응을 위해 비지도 언어 모델을 활용하기 위해.
• 최소한의 레이블 데이터로 다양한 NLP 작업에 효과적으로 일반화될 수 있는 단순하면서도 효과적인 방법을 개발하기 위해.

제안 방법

• 먼저 대규모 원시 코퍼스에서 작업에 종속되지 않는 문맥 표현을 학습하기 위해 언어 모델(예: BERT)을 사용해 비지도 사전학습을 수행한다.
• 그 후 메타학습 프레임워크를 적용하여 지원 집합과 쿼리 집합으로부터 에피소드를 구성함으로써 소수의 샘플 학습 작업을 시뮬레이션한다.
• 이중 최적화 방식을 통해 모델을 훈련한다: 내부 루프는 각 에피소드의 지원 집합에 대해 모델을 적응시키고, 외부 루프는 테스트 집합 예측에 기반한 기울기를 사용해 초기 파라미터를 업데이트한다.
• 사전학습을 통한 일반적인 특징 학습과 메타학습을 통한 작업에 특화된 적응을 명시적으로 분리함으로써 일반화 능력을 향상시킨다.
• 이중 최적화를 사용한 기울기 기반 메타학습을 적용하며, 외부 루프는 모든 작업에 대해 메타 손실을 최소화하도록 모델의 초기 가중치를 업데이트한다.
• 이 방법은 작업에 종속되지 않도록 설계되어 있어 텍스트 분류 외의 다른 NLP 작업으로도 쉽게 적용 가능하다.

실험 결과

연구 질문

• RQ1 비지도 언어 모델 사전학습이 저자원 환경에서 소수의 샘플로 텍스트 분류 성능을 향상시키는 데 기여하는가?
• RQ2 작업에 종속되지 않는 표현 학습과 작업에 특화된 표현 학습을 분리하면 소수의 샘플 학습에서 더 나은 일반화가 이루어지는가?
• RQ3 사전학습된 표현을 활용한 메타학습이 기준 벤치마크 데이터셋에서 기존의 소수의 샘플 학습 모델보다 성능이 뛰어나게 되는가?
• RQ4 소수의 샘플 텍스트 분류에서 최신 기술 수준의 방법들과 비교해 본다면 제안된 MTM 프레임워크는 얼마나 효과적인가?

주요 결과

• MTM 모델은 ARSC 벤치마크에서 평균 정확도 90.01%를 기록하여 모든 베이스라인 모델을 크게 능가한다.
• 다음으로 성능이 좋았던 Induction-Network-Routing 모델보다는 통계적으로 유의미한 개선을 보였다(p < 0.01, 대응 t-검정).
• 모델는 강력한 일반화 능력을 보이며 잘 알려진 감성 분류 데이터셋에서도 최신 기술 수준의 성능을 달성했다.
• 결과는 메타-사전학습 후 메타학습이 저자원 NLP 환경에서 소수의 샘플 학습을 효과적으로 향상시킨다는 것을 검증한다.
• 오직 클래스당 다섯 개의 지원 예제만으로도 효과적으로 작동함으로써 데이터 부족 상황에서도 뛰어난 내성적 안정성을 보였다.