[논문 리뷰] Practical Text Classification With Large Pre-Trained Language Models

Neel Kant, Raul Puri외 2명|arXiv (Cornell University)|2018. 12. 04.

Sentiment Analysis and Opinion Mining참고 문헌 18인용 수 43

한 줄 요약

이 논문은 대형 텍스트 코퍼스에서의 무감독 사전학습에 이어 Transformer와 mLSTM 모델로 미세조정하면 이진 감정 및 다차원 감정 분류에서 실용적인 강력한 성능을 달성하고, 실제 트윗에서 상용 APIs를 능가하며 SemEval 결과에서도 경쟁력을 보임을 보여준다.

ABSTRACT

Multi-emotion sentiment classification is a natural language processing (NLP) problem with valuable use cases on real-world data. We demonstrate that large-scale unsupervised language modeling combined with finetuning offers a practical solution to this task on difficult datasets, including those with label class imbalance and domain-specific context. By training an attention-based Transformer network (Vaswani et al. 2017) on 40GB of text (Amazon reviews) (McAuley et al. 2015) and fine-tuning on the training set, our model achieves a 0.69 F1 score on the SemEval Task 1:E-c multi-dimensional emotion classification problem (Mohammad et al. 2018), based on the Plutchik wheel of emotions (Plutchik 1979). These results are competitive with state of the art models, including strong F1 scores on difficult (emotion) categories such as Fear (0.73), Disgust (0.77) and Anger (0.78), as well as competitive results on rare categories such as Anticipation (0.42) and Surprise (0.37). Furthermore, we demonstrate our application on a real world text classification task. We create a narrowly collected text dataset of real tweets on several topics, and show that our finetuned model outperforms general purpose commercially available APIs for sentiment and multidimensional emotion classification on this dataset by a significant margin. We also perform a variety of additional studies, investigating properties of deep learning architectures, datasets and algorithms for achieving practical multidimensional sentiment classification. Overall, we find that unsupervised language modeling and finetuning is a simple framework for achieving high quality results on real-world sentiment classification.

연구 동기 및 목표

• 대규모 무감독 언어 모델링과 미세조정이 실용적인 텍스트 분류 작업을 해결할 수 있음을 입증한다.
• 감정 분류 및 Plutchik 기반 다차원 감정 분류에서 Transformer와 mLSTM 아키텍처를 비교한다.
• 학술 데이터셋(SemEval)과 실제 소셜 미디어 데이터에 대한 성능을 상용 APIs와 비교한다.
• 성능에 대한 데이터셋 크기, 모델 아키텍처(단일 헤드 대 다중 헤드), 능동적 학습의 효과를 조사한다.
• 대규모 사전학습 모델의 도메인 특수 맥락으로의 일반화에 대한 분석 및 절단 분석을 제공한다.

제안 방법

• Transformer와 mLSTM을 사용하여 40GB의 Amazon 리뷰에서 언어 모델을 사전 학습한다.
• 사전학습된 모델을 이진 감정 및 Plutchik 다차원 감정 작업에 대해 작업 특화 디코더로 미세조정한다.
• 短시퀀스 길이(64)와 32,000 단어 조각(BPE) 어휘를 사용하여 트윗에 적합하게 만들었다.
• 다중 라벨 감정에 대한 다중 헤드 설정 또는 단일 이진 출력 중 하나로 디코더 f_d'를 미세조정한다.
• Transformer의 미세조정 동안 보조 언어 모델링 손실을 포함시키고 ELMo 기반선과 비교한다.
• 클래스 불균형을 처리하기 위해 고정 임계값이 아닌 검출 세트에서 최적화된 임계값을 적용한다.
• 능동적 학습을 통해 추가 트윗에 대한 라벨링을 선택적으로 수행하고 감정 범주 간 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 대규모 코퍼스에서의 무감독 사전학습이 소규모 도메인 라벨 데이터로 미세 조정될 때 실용적 감정 및 감정 분류 작업에 얼마나 효과적인가?
• RQ2 특히 다차원 감정 분류에서 Transformer 기반 모델이 이 전송 학습 설정에서 mLSTM 모델보다 우수한가?
• RQ3 데이터셋 크기, 디코더 아키텍처(단일 헤드 대 다중 헤드), 능동 학습이 불균형한 감정 카테고리의 성능에 어떤 영향을 미치는가?
• RQ4 실제 소셜 미디어 데이터와 SemEval 벤치마크에서 모델이 상용 감정/감정 API와 어떻게 비교되는가?
• RQ5 단일 모델을 도메인 간 맥락에 적용하는 데의 도전 과제는 무엇이며, 맥락 데이터로 미세조정하면 견고한 일반화를 달성할 수 있는가?

주요 결과

• Transformer 미세조정은 SemEval Task 1:E-c에서 매크로 F1 0.690을 달성한다.
• 이진 감정에서 Transformer(미세조정)은 SST 정확도 90.9%를 달성하고 기업 트윗에서 Watson 및 Google APIs를 능가한다.
• 모델은 SemEval에서 Fear(0.73), Disgust(0.77), Anger(0.78)와 같은 감정 범주에서 경쟁력 있는 결과를 달성하며, 상대적으로 희귀한 클래스인 Anticipation(0.42) 및 Surprise(0.37)도 보여준다.
• Transformer가 일반적으로 mLSTM보다 우수하며 특히 다차원 감정 분류에서 차이가 크다.
• 능동 학습은 라벨링된 세트의 클래스 균형을 개선하며(카테고리당 11.2% 대 8.2%의 양성 비율), 무감정 트윗의 비율을 감소시킨다(35.6% 대 52.1%).
• Transformer를 사용한 미세조정은(off-the-shelf 상용 API보다) 실제 트윗 데이터셋에서 더 강력한 결과를 낸다(또는 ELMo 기반선도 비교적 강력한 성능을 보임).