[論文レビュー] Modeling Sentiment Dependencies with Graph Convolutional Networks for Aspect-level Sentiment Classification

Pinlong Zhaoa, Linlin Houb+1 more|arXiv (Cornell University)|Jun 11, 2019

Sentiment Analysis and Opinion Mining参考文献 37被引用数 8

ひとこと要約

本稿では、文内の複数の側面間の感情依存関係を、側面をノード、関係性のある感情をエッジとしてモデル化することで捉えるSDGCNというグラフ畳み込みニューラルネットワーク（GCN）モデルを提案する。アスペクト固有の表現学習に双方向アテンションと位置エンコーディングを組み合わせ、その後GCNベースのメッセージパッシングを実行することで、SemEval 2014データセットで最先端の性能を達成した。これにより、側面間の感情依存関係が、アスペクトレベルの感情分類精度を顕著に向上させることを示した。

ABSTRACT

Aspect-level sentiment classification aims to distinguish the sentiment polarities over one or more aspect terms in a sentence. Existing approaches mostly model different aspects in one sentence independently, which ignore the sentiment dependencies between different aspects. However, we find such dependency information between different aspects can bring additional valuable information. In this paper, we propose a novel aspect-level sentiment classification model based on graph convolutional networks (GCN) which can effectively capture the sentiment dependencies between multi-aspects in one sentence. Our model firstly introduces bidirectional attention mechanism with position encoding to model aspect-specific representations between each aspect and its context words, then employs GCN over the attention mechanism to capture the sentiment dependencies between different aspects in one sentence. We evaluate the proposed approach on the SemEval 2014 datasets. Experiments show that our model outperforms the state-of-the-art methods. We also conduct experiments to evaluate the effectiveness of GCN module, which indicates that the dependencies between different aspects is highly helpful in aspect-level sentiment classification.

研究の動機と目的

• 既存のアスペクトレベル感情分類モデルが側面を独立して扱うという限界を是正し、それらの間の貴重な感情依存関係を無視している点を改善すること。
• 文に含まれる複数の側面間の関係的情報が、感情予測性能を向上させることを検証すること。
• グラフ畳み込みネットワーク（GCN）を用いて、側面間の感情依存関係を明示的にモデル化する新しいディープラーニングフレームワークを設計すること。
• GCNモジュールが文内の側面間で関係性のある感情パターンを捉える有効性を評価すること。
• 接続語や文構造から推定される感情依存関係が、分類精度の向上に有用であるという実証的証拠を提供すること。

提案手法

• 各アスペクトに対して関連する文脈語に注目するため、双方向アテンションと位置エンコーディングを用いてアスペクト固有の表現を学習する。
• 各アスペクトをノードとし、感情依存関係（例：'but'、'and'を介した関係）をノード間のエッジとして構築するグラフを構築する。
• グラフ畳み込みネットワーク（GCN）を適用し、接続されたアスペクト間で感情情報を伝達・集約することで、側面間の依存関係を捉える。
• GCNにおけるメッセージパッシングを用いて、隣接するアスペクトからの関係的文脈を統合することで、アスペクト表現を精緻化する。
• アテンション機構の後にGCNモジュールを統合し、アスペクト表現学習と依存関係モデリングを同時に最適化する。
• 感情分類のための交差エントロピー損失を用いて、SemEval 2014データセット上でエンドツーエンドのモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 文内の複数のアスペクト間の感情依存関係をモデル化することで、アスペクトレベルの感情分類性能が向上するか？
• RQ2 グラフ畳み込みネットワーク（GCN）がアスペクト間の関係的感情パターンを捉える有効性はいかほどか？
• RQ3 双方向アテンションやGCN層といった、異なるアーキテクチャ的要素がモデル性能に与える影響は？
• RQ4 接続語（'but'、'and'など）のような言語的手がかりが、アスペクト間の感情依存関係を特定するためにどのように寄与するか？
• RQ5 側面間の依存関係が、感情極性予測に必要な明示的な感情語の必要性をどの程度低減させるか？

主な発見

• 提案されたSDGCNモデルは、SemEval 2014データセットで最先端の性能を達成し、既存手法を上回るアスペクトレベルの感情分類性能を示した。
• アブレーションスタディの結果、GCNモジュールが性能向上に顕著に寄与しており、GCNを含む完全なモデル（BiAtt+GCN）が、GCNを含まないバリアントよりも高いF1スコアを達成した。
• GCNを搭載したモデル（BiAtt+GCN）は、ラップトップデータセットでF1スコア84.5、レストランデータセットで81.3を記録し、以前の最先端手法を上回った。
• 実験から、GCN層の最適な数は2層であることが判明した。2層を超えると過学習や学習の難易度上昇により性能が低下する傾向を示した。
• アテンションヒートマップを用いたケーススタディでは、GCNを強化したモデルが、'but' や 'and' のような関係的語に注目していることが明らかになった。これらはアスペクト間の感情の相反性や一致性を示す。
• GCNを搭載したモデルは、感情語に注目するだけでなく、アスペクト間の感情関係を示す構造的手がかりにも注目するよう学習し、一般化性能とロバスト性を向上させた。