[논문 리뷰] BERT for Sentiment Analysis: Pre-trained and Fine-Tuned Alternatives

Frederico Souza, João Filho|arXiv (Cornell University)|2022. 01. 10.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

이 논문은 브라질 포르투갈어 감성 분석을 위한 BERT 임베딩 통합 전략—특히 BERTimbau와 m-BERT—을 평가하며, CLS 토큰에 더하여 모든 토큰의 평균과 표준편차를 조합하는 것이 CLS 토큰을 단독으로 사용하는 것보다 성능을 크게 향상시킨다는 것을 입증한다. 파인튜닝은 성능을 추가로 향상시키며, BERTimbau가 모든 데이터셋에서 m-BERT를 능가하여 최신 기술 수준의 ROC-AUC 스코어를 달성한다.

ABSTRACT

BERT has revolutionized the NLP field by enabling transfer learning with large language models that can capture complex textual patterns, reaching the state-of-the-art for an expressive number of NLP applications. For text classification tasks, BERT has already been extensively explored. However, aspects like how to better cope with the different embeddings provided by the BERT output layer and the usage of language-specific instead of multilingual models are not well studied in the literature, especially for the Brazilian Portuguese language. The purpose of this article is to conduct an extensive experimental study regarding different strategies for aggregating the features produced in the BERT output layer, with a focus on the sentiment analysis task. The experiments include BERT models trained with Brazilian Portuguese corpora and the multilingual version, contemplating multiple aggregation strategies and open-source datasets with predefined training, validation, and test partitions to facilitate the reproducibility of the results. BERT achieved the highest ROC-AUC values for the majority of cases as compared to TF-IDF. Nonetheless, TF-IDF represents a good trade-off between the predictive performance and computational cost.

연구 동기 및 목표

• 감성 분석에서 표준 [CLS] 토큰 접근 방식을 넘어서 BERT 출력 임베딩의 대체 통합 전략을 조사하는 것.
• 브라질 포르투갈어 텍스트 분류에서 언어별 BERT 모델(BERTimbau)과 다국어 모델(m-BERT)의 성능을 비교하는 것.
• 감성 분류 정확도에 대한 파인튜닝과 사전 훈련된 추론 간의 영향을 평가하는 것.
• 한 데이터셋에서 훈련된 BERT 모델이 다른 데이터셋에 일반화되는 성능을 평가하는 것.
• 16비트 정밀도와 효율적인 통합을 사용하여 자원이 제한된 환경에서 BERT를 구현하는 데 실용적인 지침을 제공하는 것.

제안 방법

• 브라질 포르투갈어 코퍼스에 파인튜닝된 BERTimbau Base 및 Large, 그리고 다국어 BERT(m-BERT) 모델을 사용하였다.
• 다양한 통합 전략을 제안하고 평가: [CLS] 토큰 전용, 모든 토큰의 평균, 표준편차, 그리고 '첫 번째 + 평균 + 표준편차'와 같은 조합.
• 모든 실험에서 통합된 임베딩에 대해 로지스틱 회귀를 분류기로 사용하였다.
• 다양한 최적화 학습률과 드롭아웃 비율을 사용하여 사전 훈련된 모델과 파인튜닝된 모델을 모두 실험하였다.
• 재현 가능성을 확보하기 위해 사전 정의된 훈련/검증/테스트 분할이 있는 다섯 개의 오픈소스 데이터셋을 평가에 사용하였다.
• 성능 저하 없이 메모리 및 계산 비용을 줄이기 위해 16비트 부동소수점 정밀도(float16)를 적용하였다.

실험 결과

연구 질문

• RQ1 CLS, 평균, 표준편차와 같은 여러 BERT 출력 임베딩을 조합하면 [CLS] 토큰을 단독으로 사용하는 것보다 감성 분류 성능이 향상되는가?
• RQ2 브라질 포르투갈어 감성 분석에서 언어별 BERT 모델(BERTimbau)과 다국어 모델(m-BERT)의 성능는 어떻게 비교되는가?
• RQ3 사전 훈련된 임베딩을 사용하는 것과 비교해 파인튜닝이 감성 분류 성능에 얼마나 기여하는가?
• RQ4 한 데이터셋에서 파인튜닝된 모델이 다른 데이터셋으로 일반화되는 정도는 어떠한가?
• RQ5 BERT 추론에서 16비트 정밀도를 사용할 경우 32비트와 비교해 성능 향상과 계산 비용 간의 상충 관계는 어떠한가?

주요 결과

• '첫 번째 + 평균 + 표준편차' 통합 전략이 모든 데이터셋에서 표준 [CLS] 토큰 접근 방식을 뛰어넘었으며, ROC-AUC를 최대 3.4%p 향상시켰다.
• BERTimbau Base 및 Large 모델이 모든 데이터셋에서 가장 높은 ROC-AUC 스코어를 기록했으며, m-BERT를 능가했으며, BERTimbau Large는 B2W 데이터셋에서 99.2% AUC를 달성했다.
• 파인튜닝은 성능 향상에 상당한 기여를 하였으며, UTLC-Movies에서는 m-BERT가 10%p, BERTimbau Large는 3.4%p의 ROC-AUC 향상을 기록하였다.
• 모든 데이터셋을 결합해 훈련한 일반화 모델은 사전 훈련된 모델보다 성능이 뛰어났지만, 전문화된 파인튜닝 모델에는 미치지 못했으며, 이는 도메인 특화 파인튜닝이 여전히 가치가 있음을 시사한다.
• 16비트 정밀도를 사용하면 성능 저하 없이 메모리와 훈련 시간을 크게 줄일 수 있어 자원이 제한된 환경에 실용적인 선택이 되었다.
• 크로스-데이터셋 파인튜닝은 소량의 성능 향상을 보였으며(예: B2W에서 UTLC-Movies에 파인튜닝 시 1.3%p 향상), 대부분의 경우 1% 미만의 성능 향상에 그쳐, 이러한 이전 훈련 전이의 비용 대비 효율성은 제한적이라는 것을 시사한다.