[논문 리뷰] Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference

Timo Schick, Hinrich Schütze|arXiv (Cornell University)|2020. 01. 21.

Topic Modeling인용 수 15

한 줄 요약

이 논문은 자연어 패턴과 버벌라이저를 사용하여 소수의 샘플 텍스트 분류 및 자연어 추론 작업을 클로즈 스타일의 질문으로 재구성하는 반감독 학습 방법인 패턴 탐색 학습(Pattern-Exploiting Training, PET)을 소개한다. 사전 훈련된 언어 모델을 이러한 패턴에 맞게 미세조정함으로써 대규모 비라벨 데이터셋에 소프트 레이블을 생성하고, 이를 최종 분류기 훈련에 사용함으로써 다양한 언어와 작업에서 자원이 제한된 환경에서도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Some NLP tasks can be solved in a fully unsupervised fashion by providing a pretrained language model with "task descriptions" in natural language (e.g., Radford et al., 2019). While this approach underperforms its supervised counterpart, we show in this work that the two ideas can be combined: We introduce Pattern-Exploiting Training (PET), a semi-supervised training procedure that reformulates input examples as cloze-style phrases to help language models understand a given task. These phrases are then used to assign soft labels to a large set of unlabeled examples. Finally, standard supervised training is performed on the resulting training set. For several tasks and languages, PET outperforms supervised training and strong semi-supervised approaches in low-resource settings by a large margin.

연구 동기 및 목표

• 제한된 라벨 데이터로 인한 소수의 샘플 NLP 작업에서의 낮은 성능 문제를 해결한다.
• 단지 몇 개의 라벨 예제에서 일반화하는 데 어려움을 극복하기 위해 작업 설명을 통합한다.
• 사전 훈련된 언어 모델을 활용하여 비라벨 데이터를 효과적으로 활용하는 반감독 학습 방법을 개발한다.
• 사전 훈련된 언어 모델에서의 패턴 기반 지식 전이와 지도 미세조정을 조합하여 소수의 샘플 학습 성능을 향상시킨다.

제안 방법

• 작업의 의미를 표현하기 위해 클로즈 스타일 패턴(예: '이건 내가 본 적 있는 최고의 피자였어. 그것은 ____')을 정의한다.
• 버럴라이저를 사용해 클래스 레이블을 타당한 빈칸 채우기 완성으로 매핑한다(예: '좋음' → '1', '나쁨' → '-1').
• 작은 라벨 데이터셋을 사용하여 각 패턴-버럴라이저 쌍에 대해 사전 훈련된 언어 모델을 미세조정한다.
• 미세조정된 모델들을 앙상블하여 대규모 비라벨 데이터셋에 소프트 레이블을 예측한다.
• 표준 지도 학습을 사용하여 소프트 레이블이 부여된 데이터셋으로 최종 분류기를 훈련시킨다.
• 세대를 거쳐서 점진적으로 훈련 세트 크기를 늘리는 반복적 변형인 iPET을 도입한다.

실험 결과

연구 질문

• RQ1 지도 미세조정과 결합된 클로즈 스타일 패턴이 소수의 샘플 텍스트 분류 및 자연어 추론 성능을 향상시키는가?
• RQ2 자원이 제한된 환경에서 PET은 지도 학습 및 강력한 반감독 기반선과 비교해 어떻게 성능을 냈는가?
• RQ3 반복적 개선 과정(iPET)은 여러 세대에 걸쳐 일관된 성능 향상을 이끌어내는가?
• RQ4 PET의 성능 향상 요인이 비라벨 데이터의 영향인지, 패턴 기반 지식 전이의 영향인지 어느 정도인가?
• RQ5 PET은 패턴 선택에 얼마나 민감한가? 앙상블 또는 지식 전이 기법이 성능이 열 劣한 패턴을 보완할 수 있는가?

주요 결과

• PET은 소수의 샘플 텍스트 분류 및 자연어 추론 작업에서 표준 지도 미세조정 및 강력한 반감독 기반선을 크게 능가한다.
• 10개의 예제 훈련 세트에서 PET은 AG’s News에서 평균 정확도 85.6%를 기록했고, Yelp에서는 83.2%를 기록하여 지도 기반선을 10个百分点 이상 뛰어넘었다.
• 반복적 변형인 iPET은 모든 세대에서 성능을 향상시켰으며, 네 번의 세대에 걸쳐 훈련된 최종 모델은 AG’s News에서 88.1%의 정확도를 달성했다.
• 지식 전이를 통해 최종 분류기의 크기를 줄였지만 정확도는 향상되었으며, 이는 소프트 레이블이 개별 모델의 하드 레이블보다 더 효과적임을 보여준다.
• 단일 패턴만으로도 PET은 가장 좋은 개별 패턴보다 뛰어난 성능을 보였으며, 이는 앙상블 학습이 패턴별 약점의 영향을 완화시킴을 시사한다.
• 도메인 내 사전 훈련이 PET의 성능 향상 요인을 완전히 설명하지 못하며, 동일한 도메인 데이터로 미세조정된 경우에도 PET는 지도 모델을 능가한다.