[논문 리뷰] Language Representation Models for Fine-Grained Sentiment Classification

Brian Cheang, Bailey Wei외 3명|arXiv (Cornell University)|2020. 05. 27.

Topic Modeling참고 문헌 6인용 수 7

한 줄 요약

이 논문은 BERT의 대안으로서 ALBERT, DistilBERT, RoBERTa를 SST-5 데이터셋에서 세분화된 감성 분류에 적용하여 평가한다. BERT의 임bedding 레이어를 이들 모델로 대체하고 조기 정지 기법을 적용함으로써, RoBERTa LARGE를 사용할 경우 60.2%의 새로운 최고 성능 정확도를 달성하였으며, 계산 비용이 더 높음에도 불구하고 BERT 및 기타 변종보다 뛰어난 성능을 보였다.

ABSTRACT

Sentiment classification is a quickly advancing field of study with applications in almost any field. While various models and datasets have shown high accuracy inthe task of binary classification, the task of fine-grained sentiment classification is still an area with room for significant improvement. Analyzing the SST-5 dataset,previous work by Munikar et al. (2019) showed that the embedding tool BERT allowed a simple model to achieve state-of-the-art accuracy. Since that paper, several BERT alternatives have been published, with three primary ones being AlBERT (Lan et al., 2019), DistilBERT (Sanh et al. 2019), and RoBERTa (Liu etal. 2019). While these models report some improvement over BERT on the popular benchmarks GLUE, SQuAD, and RACE, they have not been applied to the fine-grained classification task. In this paper, we examine whether the improvements hold true when applied to a novel task, by replicating the BERT model from Munikar et al., and swapping the embedding layer to the alternative models. Over the experiments, we found that AlBERT suffers significantly more accuracy loss than reported on other tasks, DistilBERT has accuracy loss similar to their reported loss on other tasks while being the fastest model to train, and RoBERTa reaches anew state-of-the-art accuracy for prediction on the SST-5 root level (60.2%).

연구 동기 및 목표

• BERT 대체 모델인 ALBERT, DistilBERT, RoBERTa가 BERT보다 세분화된 감성 분류 작업에서 성능 향상을 이룰 수 있는지 평가하는 것.
• GLUE, SQuAD, RACE 벤치마크에서 관찰된 성능 향상이 더 복잡한 SST-5 세분화된 감성 분류 작업으로 일반화되는지 조사하는 것.
• 다중 클래스 감성 분류의 맥락에서 모델 크기, 학습 속도, 정확도 간의 상호 상충 관계를 규명하는 것.
• 과적합을 완화하기 위한 최적의 학습 전략(예: 조기 정지)을 특정하는 것.
• 최적화된 사전 훈련된 언어 모델을 사용하여 SST-5 루트 레벨 감성 분류 작업에서 새로운 최고 성능 정확도를 확립하는 것.

제안 방법

• Munikar 등(2019)의 BERT 모델을 재현하기 위해 임베딩 레이어를 ALBERT BASE, DistilBERT BASE, RoBERTa LARGE로 대체하였다.
• 각 모델을 동일한 피니튜닝 프rotocol를 사용하여 훈련시켰다: 풀드된 CLS 토큰 위에 드롭아웃과 소프트맥스 레이어를 포함한 단순 분류기 헤드를 추가하였다.
• 초기 학습 런에서 관찰된 과적합을 방지하기 위해 검증 손실 기반 조기 정지를 적용하였다.
• 평가에 SST-5 데이터셋을 사용하였으며, 다섯 개 클래스(매우 부정적, 부정적, 중립, 긍정적, 매우 긍정적)로 구성된 루트 레벨 감성 분류에 집중하였다.
• 정확도, 손실 곡선, 혼동 행렬을 통해 성능을 비교하여 클래스별 행동과 일반화 능력을 분석하였다.
• 학습률 및 드롭아웃 비율 등의 하이퍼파라미터를 최적화하였으며, 드롭아웃 스케줄링에 대한 추가 아블레이션도 수행하였다.

실험 결과

연구 질문

• RQ1 RoBERTa, ALBERT, DistilBERT가 SST-5 데이터셋에서 세분화된 감성 분류 작업에서 BERT를 초월하는가?
• RQ2 GLUE 및 SQuAD와 같은 표준 벤치마크에서 관찰된 성능 향상이 더 세밀한 SST-5 작업으로 일반화되는가?
• RQ3 세분화된 감성 분석에서 모델 효율성(학습 속도, 파라미터 수)과 정확도 간의 상충 관계는 어떠한가?
• RQ4 조기 정지는 BERT 기반 모델이 SST-5에서 피니튜닝될 때 일반화 능력을 높이고 과적합을 줄이는 데 있어 유의미한 영향을 미치는가?
• RQ5 RoBERTa가 SST-5 루트 레벨 분류 작업에서 새로운 최고 성능 정확도를 달성할 수 있는가?

주요 결과

• RoBERTa LARGE는 SST-5 루트 레벨 감성 분류 작업에서 60.2%의 새로운 최고 성능 정확도를 달성하여 이전 최고 성능인 55.5%를 초월하였다.
• ALBERT BASE는 다른 벤치마크에서 보고된 것과는 달리 심각한 정확도 손실을 보였으며, 세분화된 감성 작업으로의 일반화 능력이 떨어지는 것으로 나타났다.
• DistilBERT BASE는 BERT BASE와 유사한 정확도(0.532 vs. 0.562)를 유지하면서도 학습 속도가 50% 빠르게 되어 효율성-정확도 균형을 고려할 때 매우 유망한 선택이 되었다.
• 혼동 행렬 분석 결과, RoBERTa LARGE는 '매우 부정적'을 제외한 모든 클래스에서 BERT LARGE를 능가했으며, 특히 '매우 부정적' 클래스에서 정확도가 7.5% 향상되었다.
• 초기 학습 단계에서 과적합이 나타났으며, 테스트 손실이 2~3 에포크 내로 정체되는 경향이 있었고, 이는 조기 정지 기법으로 효과적으로 완화되었다.
• 저자들은 Munikar 등(2019)이 보고한 원본 BERT 모델이 과적합되어 있음을 확인하였으며, 조기 정지를 적용한 재학습으로 보고된 베이스라인을 초월하는 성능을 달성하였다.