[論文レビュー] Exploiting BERT for End-to-End Aspect-based Sentiment Analysis

Xin Li, Lidong Bing+2 more|arXiv (Cornell University)|Oct 2, 2019

Topic Modeling参考文献 82被引用数 47

ひとこと要約

この論文は、単純な下流層を持つBERTが従来のE2E-ABSAモデルを上回ることを示し、BERTベースのベンチマークを確立し、ファインチューニングの重要性を強調します。SemEval由来の2つのデータセットで、BERTベースのアーキテクチャの評価と過学習に対する頑健性を示しています。

ABSTRACT

In this paper, we investigate the modeling power of contextualized embeddings from pre-trained language models, e.g. BERT, on the E2E-ABSA task. Specifically, we build a series of simple yet insightful neural baselines to deal with E2E-ABSA. The experimental results show that even with a simple linear classification layer, our BERT-based architecture can outperform state-of-the-art works. Besides, we also standardize the comparative study by consistently utilizing a hold-out validation dataset for model selection, which is largely ignored by previous works. Therefore, our work can serve as a BERT-based benchmark for E2E-ABSA.

研究の動機と目的

• BERTからの文脈化埋め込みがEnd-to-End Aspect-based Sentiment Analysis (E2E-ABSA)において有効かを評価する。
• E2E-ABSAにおける系列ラベリングのため、BERTの上に置く簡易な下流アーキテクチャ（線形、GRU、自己注意、CRF）を検討する。
• モデル選択のための保持開発セットを備えた標準化された評価設定を提供する。
• E2E-ABSAのためのBERTベースのベンチマークを提供し、再現性のためにオープンソースコードを公開する。

提案手法

• 事前学習済みBERTモデルでトークンを埋め込み、入力トークンの文脈表現 H^L を取得する。
• BERTの上に単純なE2E-ABSAレイヤを追加し、線形、GRU、自己注意（SAN）、およびトランスフォーマーべース（TFM）のバリアントを探索する。
• オプションとして線形チェーンCRF層を追加し、Viterbiデコーディングによる系列依存性をモデル化する。
• タスク性能を最大化するためにBERTをファインチューニング（固定特徴抽出器として使用するのではなく）する。
• LAPTOPおよびRESTデータセットで伝統的なLSTM-CRFおよび他のABSAベースラインと比較する。
• 開発セットとテストセットのマイクロ平均F1スコアを用いて結果を報告する。

実験結果

リサーチクエスチョン

• RQ1 BERTからの文脈化埋め込みだけで（単純な線形分類器とともに）従来のE2E-ABSAモデルを上回ることができるか。
• RQ2 より強力な下流層（GRU、SAN、トランスフォーマー風、CRF）はBERT表現を用いた場合、線形分類器より有意な改善をもたらすか。
• RQ3 BERTをファインチューニングすることはE2E-ABSAの最適な性能に不可欠か、それともBERTを固定特徴抽出器として使用できるか。
• RQ4 小規模データセットでBERTベースのE2E-ABSAモデルは過学習にどれくらい頑健か。
• RQ5 BERTベースのアプローチは標準的なABSAベンチマークの既存の最先端モデルとどう比較されるか。

主な発見

Model	LAPTOP P	LAPTOP R	LAPTOP F1	REST P	REST R	REST F1
Li et al. 2019a (existing)	61.27	54.89	57.90	68.64	71.01	69.80
Luo et al. 2019 (existing)	-	-	60.35	-	-	72.78
He et al. 2019 (existing)	-	-	58.37	-	-	-
LSTM-CRF	58.61	50.47	54.24	66.10	66.30	66.20
Ma & Hovy 2016	58.66	51.26	54.71	61.56	67.26	64.29
Liu et al. 2018	53.31	59.40	56.19	68.46	64.43	66.38
BERT+Linear	62.16	58.90	60.43	71.42	75.25	73.22
BERT+GRU	61.88	60.47	61.12	70.61	76.20	73.24
BERT+SAN	62.42	58.71	60.49	72.92	76.72	74.72
BERT+TFM	63.23	58.64	60.80	72.39	76.64	74.41
BERT+CRF	62.22	59.49	60.78	71.88	76.48	74.06

• 単純なBERT+Linearモデルは、BERTを用いない多くの既存ABSA手法をすでに上回っている。
• より高度な下流層（GRU、SAN、TFM、CRF）はF1スコアに追加的な利得を提供する。
• BERTベースのモデルは過学習に対して頑健で、長時間のトレーニング中もF1が安定している。
• BERTをファインチューニングすると、BERTを固定特徴抽出器として使用する場合よりもはるかに良い結果になる。
• LAPTOPおよびRESTデータセットでは、SAN/TFMを用いたBERTベースのモデルが本研究で報告された最高のF1スコアを達成している。