[논문 리뷰] Bidirectional Encoder Representations from Transformers (BERT): A sentiment analysis odyssey

Shivaji Alaparthi, Manit Mishra|arXiv (Cornell University)|2020. 07. 02.

Sentiment Analysis and Opinion Mining참고 문헌 25인용 수 53

한 줄 요약

이 논문은 네 가지 감성 분석 기법(Sent WordNet, 로지스틱 회귀, LSTM, BERT)을 IMDB 리뷰에서 비교하고 BERT의 우수한 성능을 보여준다.

ABSTRACT

The purpose of the study is to investigate the relative effectiveness of four different sentiment analysis techniques: (1) unsupervised lexicon-based model using Sent WordNet; (2) traditional supervised machine learning model using logistic regression; (3) supervised deep learning model using Long Short-Term Memory (LSTM); and, (4) advanced supervised deep learning models using Bidirectional Encoder Representations from Transformers (BERT). We use publicly available labeled corpora of 50,000 movie reviews originally posted on internet movie database (IMDB) for analysis using Sent WordNet lexicon, logistic regression, LSTM, and BERT. The first three models were run on CPU based system whereas BERT was run on GPU based system. The sentiment classification performance was evaluated based on accuracy, precision, recall, and F1 score. The study puts forth two key insights: (1) relative efficacy of four highly advanced and widely used sentiment analysis techniques; (2) undisputed superiority of pre-trained advanced supervised deep learning BERT model in sentiment analysis from text data. This study provides professionals in analytics industry and academicians working on text analysis key insight regarding comparative classification performance evaluation of key sentiment analysis techniques, including the recently developed BERT. This is the first research endeavor to compare the advanced pre-trained supervised deep learning model of BERT vis-à-vis other sentiment analysis models of LSTM, logistic regression, and Sent WordNet.

연구 동기 및 목표

• 공통 데이터셋에서 네 가지 감성 분석 기법을 평가하고 비교한다.
• 표준 지표(정확도, 정밀도, 재현율, F1)를 사용하여 성능을 평가한다.
• 사전 학습된 BERT의 상대적 효능을 전통 모델과 비교한다.

제안 방법

• 감성 분석을 위한 비지도 렉시콘 기반 분석에 Sent WordNet를 사용한다.
• 레이블 데이터에 대한 로지스틱 회귀를 사용한 전통적 지도 학습 모델을 학습한다.
• LSTM 기반의 지도 학습 딥러닝 모델을 학습한다.
• 동일한 데이터에 대해 GPU 가속으로 사전 학습된 BERT 모델을 미세조정하고 평가한다.

실험 결과

연구 질문

• RQ1 어떤 감성 분석 접근 방법이 IMDB 리뷰에서 가장 높은 정확도, 정밀도, 재현율, F1를 내는가?
• RQ2 사전 학습된 고급 모델인 BERT가 감성 분석에서 전통 모델 및 다른 딥러닝 방법을 일관되게 능가하는가?
• RQ3 CPU 대 GPU와 같은 컴퓨팅 자원이 모델 간 성능 비교에 어떤 영향을 미치는가?

주요 결과

• BERT는 본 연구에서 네 가지 기법 중 감성 분석에 있어 확고한 우위를 보인다.
• GPU에서 평가된 사전 학습된 BERT는 IMDB 코퍼스에서 Sent WordNet, 로지스틱 회귀, LSTM보다 우수한 성능을 보인다.
• 본 연구는 각 접근법의 상대 강점에 대해 실무자에게 정보를 제공하는 병렬 성능 비교를 제공한다.