[論文レビュー] Language Representation Models for Fine-Grained Sentiment Classification

Brian Cheang, Bailey Wei+3 more|arXiv (Cornell University)|May 27, 2020

Topic Modeling参考文献 6被引用数 7

ひとこと要約

この論文は、SST-5データセットにおける微細な感情分析のためのBERT代替として、ALBERT、DistilBERT、RoBERTaを評価している。BERTの埋め込み層をこれらのモデルに置き換え、エアリー・ストッピングを適用することで、RoBERTa LARGEを用いて60.2%という新たなSOTA精度を達成した。これは、計算コストが高くなるものの、BERTや他の変種を上回った結果である。

ABSTRACT

Sentiment classification is a quickly advancing field of study with applications in almost any field. While various models and datasets have shown high accuracy inthe task of binary classification, the task of fine-grained sentiment classification is still an area with room for significant improvement. Analyzing the SST-5 dataset,previous work by Munikar et al. (2019) showed that the embedding tool BERT allowed a simple model to achieve state-of-the-art accuracy. Since that paper, several BERT alternatives have been published, with three primary ones being AlBERT (Lan et al., 2019), DistilBERT (Sanh et al. 2019), and RoBERTa (Liu etal. 2019). While these models report some improvement over BERT on the popular benchmarks GLUE, SQuAD, and RACE, they have not been applied to the fine-grained classification task. In this paper, we examine whether the improvements hold true when applied to a novel task, by replicating the BERT model from Munikar et al., and swapping the embedding layer to the alternative models. Over the experiments, we found that AlBERT suffers significantly more accuracy loss than reported on other tasks, DistilBERT has accuracy loss similar to their reported loss on other tasks while being the fastest model to train, and RoBERTa reaches anew state-of-the-art accuracy for prediction on the SST-5 root level (60.2%).

研究の動機と目的

• BERTの代替としてのALBERT、DistilBERT、RoBERTaが、BERTに比べて微細な感情分析の性能を向上させるかどうかを評価すること。
• GLUE、SQuAD、RACEベンチマークで観察された改善が、より複雑なSST-5の微細な感情分析タスクに一般化されるかどうかを調査すること。
• マルチクラス感情分析の文脈において、モデルサイズ、学習速度、精度のトレードオフを特定すること。
• 過学習を軽減するための最適な訓練戦略（例：エアリー・ストッピング）を同定すること。
• 最適化された事前学習言語モデルを用いて、SST-5のルートレベル感情分類において新たなSOTA精度を確立すること。

提案手法

• Munikarら（2019）のBERTモデルを再現するために、埋め込み層をALBERT BASE、DistilBERT BASE、RoBERTa LARGEに置き換えた。
• 各モデルを同じ微調整プロトコルで訓練した：プールドCLSトークンの上にドロップアウト付きのシンプルな分類ヘッドとソフトマックス層を追加した。
• 過学習を防ぐために、検証損失に基づくエアリー・ストッピングを適用した。初期の訓練走行で過学習が観察されたためである。
• 評価にはSST-5データセットを用い、5つのクラス（非常に否定的、否定的、ニュートラル、肯定的、非常に肯定的）のルートレベル感情分類に注目した。
• 精度、損失曲線、混同行列を用いてモデル性能を比較し、クラスごとの挙動と一般化性能を分析した。
• ハイパーパrameterの最適化（学習率、ドロップアウト率）に加え、ドロップアウトスケジューリングのアブレーションも実施した。

実験結果

リサーチクエスチョン

• RQ1 RoBERTa、ALBERT、DistilBERTは、SST-5データセットにおける微細な感情分析でBERTを上回る性能を示すか？
• RQ2 GLUE や SQuAD などの標準ベンチマークで観察された性能向上が、より洗練されたSST-5タスクに一般化されるか？
• RQ3 微細な感情分析において、モデル効率（学習速度、パラメータ数）と精度のトレードオフは何か？
• RQ4 エアリー・ストッピングは、SST-5で微調整されたBERTベースのモデルにおける一般化性能を著しく向上させ、過学習を軽減するか？
• RQ5 RoBERTaは、SST-5のルートレベル分類タスクで新たなSOTA精度を達成できるか？

主な発見

• RoBERTa LARGEは、SST-5のルートレベル感情分類タスクで60.2%という新たなSOTA精度を達成し、以前のSOTA（55.5%）を上回った。
• ALBERT BASEは、他のベンチマークで報告されたものよりも著しく精度が低下しており、微細な感情分析タスクへの一般化が不十分であることが示された。
• DistilBERT BASEは、BERT BASE（0.532 vs. 0.562）と同等の精度を維持しながら、50%速く学習したため、効率と精度のトレードオフにおいて優れた選択肢となった。
• 混同行列の分析から、RoBERTa LARGEは「非常に否定的」を除く全クラスでBERT LARGEを上回った。特に「非常に否定的」クラスでは正しく分類される確率が7.5%向上した。
• 初期の訓練段階で過学習が観察され、テスト損失が2〜3エポックで頭打ちになったが、エアリー・ストッピングによりこれを緩和できた。
• 著者らは、Munikarら（2019）が報告した元のBERTモデルが過学習していたことを確認し、エアリー・ストッピングを用いた再訓練により、報告されたベースラインを上回る性能が得られた。