[論文レビュー] Jointly Modeling Aspect and Sentiment with Dynamic Heterogeneous Graph Neural Networks

Shu Liu, Wei Li+3 more|arXiv (Cornell University)|Apr 14, 2020

Sentiment Analysis and Opinion Mining参考文献 33被引用数 7

ひとこと要約

本稿では、語とセンチメントラベルを両方ともグラフ内のノードとして扱うことで、アスペクト抽出とセンチメント分類の間で明示的で反復的な相互作用を可能にする動的ハイブリッドグラフニューラルネットワーク（DHGNN）を提案する。このモデルは、ベンチマークデータセット上で性能を向上させ、特に複数の意見を含むケースやセンチメントのないアスペクト（no-opinion cases）といった困難なケースにおいて、最先端の手法を上回る性能を発揮する。

ABSTRACT

Target-Based Sentiment Analysis aims to detect the opinion aspects (aspect extraction) and the sentiment polarities (sentiment detection) towards them. Both the previous pipeline and integrated methods fail to precisely model the innate connection between these two objectives. In this paper, we propose a novel dynamic heterogeneous graph to jointly model the two objectives in an explicit way. Both the ordinary words and sentiment labels are treated as nodes in the heterogeneous graph, so that the aspect words can interact with the sentiment information. The graph is initialized with multiple types of dependencies, and dynamically modified during real-time prediction. Experiments on the benchmark datasets show that our model outperforms the state-of-the-art models. Further analysis demonstrates that our model obtains significant performance gain on the challenging instances under multiple-opinion aspects and no-opinion aspect situations.

研究の動機と目的

• ターゲットベースセンチメント分析（TBSA）におけるパイプライン型および表面的 joint modeling 手法の限界、特に誤差伝搬と非明示的タスク相互作用を解決すること。
• ハイブリッドグラフ構造を用いて、アスペクト抽出とセンチメント分類の間の動的接続を明示的にモデル化すること。
• センチメントのないアスペクト（no-opinion cases）の検出と、複雑な複数意見シナリオの改善。
• 文法的および位置的エッジを用いて、アスペクトと意見語の間の長距離依存関係を捉えること。
• 予測の過程で進化する解釈可能な反復的グラフメカニズムを提供し、タスク間の推論を強化すること。

提案手法

• 通常の語とセンチメントラベルを別々のノードタイプとして扱う動的ハイブリッドグラフを構築する。
• 初期段階で文法的および位置的依存関係を用いてエッジを形成し、語同士の長距離関係をモデル化する。
• 推論段階で、高い信頼度を持つセンチメント予測を用いて、意見語とセンチメントノードの間にエッジを動的に追加し、グラフを反復的に更新する。
• 異種ゲート付きグラフニューラルネットワーク（HG-GNN）が、異なるノードタイプとエッジタイプ間を横断してメッセージを符号化し、過剰平滑化を抑制するゲート機構を用いる。
• 複数回の予測イテレーションを通じてグラフを精錬し、後続の予測が以前に予測されたセンチメント情報を参照できるようにする。
• アスペクト境界にはBIOタギング、センチメントにはPOS/NEG/NEUラベルを用い、両タスクを共同最適化する。

実験結果

リサーチクエスチョン

• RQ1 動的ハイブリッドグラフは、TBSAにおけるアスペクト抽出とセンチメント分類の相互依存関係を明示的にモデル化できるか？
• RQ2 文法的および位置的依存関係を組み込むことで、長距離のアスペクト-センチメント整合性がどのように向上するか？
• RQ3 モデルは、感情に関連しないエンティティ（例：'tech'）を効果的に検出し、除外できるか？
• RQ4 反復的グラフ精錬メカニズムは、複数の意見アスペクトを含む複雑なインスタンスの性能向上に寄与するか？
• RQ5 解釈可能性と正確性の観点から、動的グラフメカニズムは、静的または共有層モデルと比較して優れているか？

主な発見

• 提案手法は、3つのSemEvalベンチマークデータセットで最先端の性能を達成し、同じ学習データを用いた既存手法を上回った。
• 複数の意見アスペクトを含む困難なインスタンスにおいて、性能が顕著に向上し、矛盾するセンチメント関係のモデル化がより優れていることが示された。
• 文の真正のセンチメントターゲットが代名詞（'it'）である場合でも、'tech' のようなエンティティを効果的に除外し、誤ったアスペクト予測を回避できた。
• 動的グラフメカニズムにより、後続の予測が初期のセンチメント予測に基づいて情報を取り込むことができ、複雑な依存関係の推論が向上した。
• アブレーションスタディの結果、文法的／位置的依存関係グラフと動的グラフ精錬の両方が、性能向上に寄与していることが明らかになった。
• 外部データを大量に使用するモデルでさえも比較可能な結果を達成したため、本手法のデータ効率性が顕著に示された。