[論文レビュー] Relational Graph Attention Network for Aspect-based Sentiment Analysis

Kai Wang, Weizhou Shen+3 more|arXiv (Cornell University)|Apr 26, 2020

Sentiment Analysis and Opinion Mining参考文献 31被引用数 48

ひとこと要約

本論文は ABSA を改善するための Relational Graph Attention Network（R-GAT）を提案し、アスペクト指向の依存木の上に構築します。特に BERT と組み合わせた場合に最先端の結果を示します。

ABSTRACT

Aspect-based sentiment analysis aims to determine the sentiment polarity towards a specific aspect in online reviews. Most recent efforts adopt attention-based neural network models to implicitly connect aspects with opinion words. However, due to the complexity of language and the existence of multiple aspects in a single sentence, these models often confuse the connections. In this paper, we address this problem by means of effective encoding of syntax information. Firstly, we define a unified aspect-oriented dependency tree structure rooted at a target aspect by reshaping and pruning an ordinary dependency parse tree. Then, we propose a relational graph attention network (R-GAT) to encode the new tree structure for sentiment prediction. Extensive experiments are conducted on the SemEval 2014 and Twitter datasets, and the experimental results confirm that the connections between aspects and opinion words can be better established with our approach, and the performance of the graph attention network (GAT) is significantly improved as a consequence.

研究の動機と目的

• 複雑な文法構造や文中の複数のアスペクトにより ABSA におけるアスペクトと意見語のズレに対処する。
• ターゲットアスペクトを根とするアスペクト指向の依存木を提案し、関連する統語的関係に焦点を当てる。
• ABSA のためにラベル付き依存辺をエンコードする Relational Graph Attention Network (R-GAT) を開発する。
• SemEval 2014 の Restaurant/Laptop データセットと Twitter で R-GAT を評価し、アスペクトと意見語の結びつきと全体性能の改善を実証する。

提案手法

• 通常の依存解析木を再構成してターゲットアスペクトを根に置き、アスペクトへの直接エッジを保つように剪定してアスペクト指向の依存木を構築する。
• 依存関係のエッジラベルを組み込むために関係認識ヘッドを拡張した Relational Graph Attention Network (R-GAT) を導入する。
• ノード表現をエンコードするために BiLSTM を用い、2 つ目の BiLSTM でアスペクト語を根としてエンコードする。
• エンベディングとゲートを用いたマルチヘッド注意・関係ヘッドを通じてノード表現を計算する（論文の式 1–7）。
• 根の表現を集約し、ソフトマックス層で感情を分類する（式 8–9）。
• 任意で BERT に由来する語表現を入力し ABSA タスクで微調整することにより R-GAT を BERT と組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 どのように ABSA への統語入力を再設計して、ターゲットアスペクトとその意見語をより良く結びつけられるか。
• RQ2 アスペクト指向の依存構造は標準の依存木と比べて ABSA の性能を改善するか。
• RQ3 関係認識型グラフ注意機構は統語的エッジラベルをより効果的に活用してアスペクトレベルの感情分類を向上させるか。
• RQ4 BERT のような事前学習モデルと R-GAT を統合することが ABSA のベンチマークに与える影響は何か。

主な発見

手法	レストラン（Accuracy）	レストラン（Macro-F1）	ノートパソコン（Accuracy）	ノートパソコン（Macro-F1）	ツイッター（Accuracy）	ツイッター（Macro-F1）
R-GAT	83.30	76.08	77.42	73.82	75.57	73.82
R-GAT+BERT	86.60	81.35	78.21	74.07	76.15	74.88

• R-GAT は ABSA ベンチマークで多くのベースラインを上回り、R-GAT+BERT は最先端の結果を達成する。
• n:con エッジを含むアスペクト指向木は解析エラーや長距離依存に対する頑健性を向上させる。
• Relational ヘッドは依存関係に応じて情報の流れを調整できるようにし、アスペクト–意見語の結びつきを改善する。
• アブレーションにより新しい木構造と n:con エッジがデータセット全体で性能向上に大きく寄与することが示された。
• Biaffine parsing は Stanford parsing より R-GAT 使用時に ABSA の性能を向上させる。
• Error analysis は中立的なレビューでの修飾語、深い言語理解の必要性、二重否定などの残る課題を浮き彫りにする。