[論文レビュー] Bidirectional Encoder Representations from Transformers (BERT): A sentiment analysis odyssey

Shivaji Alaparthi, Manit Mishra|arXiv (Cornell University)|Jul 2, 2020

Sentiment Analysis and Opinion Mining参考文献 25被引用数 53

ひとこと要約

本論文は IMDB のレビューを対象に Sent WordNet、ロジスティック回帰、LSTM、BERT の4つの感情分析手法を比較し、BERT の優れた性能を示す。

ABSTRACT

The purpose of the study is to investigate the relative effectiveness of four different sentiment analysis techniques: (1) unsupervised lexicon-based model using Sent WordNet; (2) traditional supervised machine learning model using logistic regression; (3) supervised deep learning model using Long Short-Term Memory (LSTM); and, (4) advanced supervised deep learning models using Bidirectional Encoder Representations from Transformers (BERT). We use publicly available labeled corpora of 50,000 movie reviews originally posted on internet movie database (IMDB) for analysis using Sent WordNet lexicon, logistic regression, LSTM, and BERT. The first three models were run on CPU based system whereas BERT was run on GPU based system. The sentiment classification performance was evaluated based on accuracy, precision, recall, and F1 score. The study puts forth two key insights: (1) relative efficacy of four highly advanced and widely used sentiment analysis techniques; (2) undisputed superiority of pre-trained advanced supervised deep learning BERT model in sentiment analysis from text data. This study provides professionals in analytics industry and academicians working on text analysis key insight regarding comparative classification performance evaluation of key sentiment analysis techniques, including the recently developed BERT. This is the first research endeavor to compare the advanced pre-trained supervised deep learning model of BERT vis-à-vis other sentiment analysis models of LSTM, logistic regression, and Sent WordNet.

研究の動機と目的

• 共通データセット上で4つの感情分析手法を評価・比較する。
• 標準指標（精度、適合率、再現率、F1）を用いて性能を評価する。
• 事前学習済みの BERT の相対的有効性と従来モデルとの比較を強調する。

提案手法

• Sent WordNet を用いて無监督の辞書ベース感情分析を行う。
• ラベル付きデータを用いてロジスティック回帰で伝統的な supervised モデルを訓練する。
• LSTM ベースの supervised deep learning モデルを訓練する。
• 同一データ上で事前学習済み BERT モデルを微調整し、GPU 加速を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 IMDB レビューで最も高い精度・適合率・再現率・F1を示す感情分析アプローチはどれか。
• RQ2 BERT のような事前学習済みの高度なモデルは、感情分析で従来手法や他の深層学習法を一貫して上回るのか。
• RQ3 計算資源（CPU 対 GPU）はモデル間の性能比較にどのような影響を与えるのか。

主な発見

• BERT は本研究における4つの手法の中で感情分析において疑う余地のない優位性を示す。
• GPU で評価された事前学習済み BERT は IMDB コーパス上で Sent WordNet、ロジスティック回帰、LSTM を上回る。
• この研究は、各手法の相対的な長所を実務家に伝えるための並列的な性能比較を提供する。