[論文レビュー] DigNet: Digging Clues from Local-Global Interactive Graph for Aspect-level Sentiment Classification

Bowen Xing, Ivor W. Tsang|arXiv (Cornell University)|Jan 4, 2022

Sentiment Analysis and Opinion Mining被引用数 7

ひとこと要約

本稿では、局所的構文的および包括的関係的情報を局所的・包括的相互作用型グラフ（LGIG）を介して統合する新しいグラフニューラルネットワーク、DigNetを提案する。これにより、構文グラフと関係グラフの間で相互に補完しあう仕組みが実現される。局所的・包括的相互作用（LGI）層をスタックし、グラフ内およびグラフ間のメッセージパッシングを実施することで、DigNetは、Lap14、Res14、Res15におけるマクロF1スコアで、それぞれ前人最高の手法を3.0%、2.32%、6.33%上回る、新たな最先端性能を達成した。

ABSTRACT

In aspect-level sentiment classification (ASC), state-of-the-art models encode either syntax graph or relation graph to capture the local syntactic information or global relational information. Despite the advantages of syntax and relation graphs, they have respective shortages which are neglected, limiting the representation power in the graph modeling process. To resolve their limitations, we design a novel local-global interactive graph, which marries their advantages by stitching the two graphs via interactive edges. To model this local-global interactive graph, we propose a novel neural network termed DigNet, whose core module is the stacked local-global interactive (LGI) layers performing two processes: intra-graph message passing and cross-graph message passing. In this way, the local syntactic and global relational information can be reconciled as a whole in understanding the aspect-level sentiment. Concretely, we design two variants of local-global interactive graphs with different kinds of interactive edges and three variants of LGI layers. We conduct experiments on several public benchmark datasets and the results show that we outperform previous best scores by 3\%, 2.32\%, and 6.33\% in terms of Macro-F1 on Lap14, Res14, and Res15 datasets, respectively, confirming the effectiveness and superiority of the proposed local-global interactive graph and DigNet.

研究の動機と目的

• 構文グラフはアスペクトに依存しないのに対し、関係グラフは非アスペクトノードを分離させ、局所的ヒントの把握を妨げるため、従来の構文グラフと関係グラフには、アスペクトレベルのセンチメント分類（ASC）において、それぞれ固有の限界がある。
• 構文グラフまたは関係グラフを単独で用いることの欠点を克服するため、局所的構文的表現と包括的関係的表現の間で相互に情報交換が可能なハイブリッドグラフ構造を設計する。
• 局所的・包括的相互作用（LGI）層をスタックし、グラフ内およびグラフ間のメッセージパッシングを実行する新しいニューラルネットワークアーキテクチャ、DigNetを開発する。
• インタラクティブエッジを通じて、構文グラフと関係グラフの補完的特徴を統合することで、アスペクトレベルでのより強固で包括的なセンチメント推論が可能になることを示す。
• 複数のベンチマークデータセットにわたり一貫した性能向上を示すことで、アスペクトレベルのセンチメント分類のための新たな最先端ベースラインを確立する。

提案手法

• 構文グラフ（依存解析に基づく）と関係グラフ（各単語からアスペクトへの関係ラベル付きエッジを持つ、アスペクト中心の関係グラフ）を、対応するノードを接続するインタラクティブエッジを用いて統合し、局所的・包括的相互作用型グラフ（LGIG）を構築する。
• コアコンponentである局所的・包括的相互作用（LGI）層を設計し、2種類のメッセージパッシングを実行する：グラフ内（構文グラフまたは関係グラフ内）およびグラフ間（構文グラフと関係グラフの対応するノード間）。
• 異なる集約メカニズムを用いて、LGI層の3つのバリアントを実装する：ゲート付き再帰ユニット（Gated）、マルチヘッドアテンション（MHA）、マルチレイヤーパーセプトロン（MLP）を用い、グラフ間の相互作用をモデル化する。
• 両方のグラフに位置ごとのグラフ畳み込みネットワーク（PW-GCN）を適用し、局所的メッセージパッシングの複数層を経てノード表現を精緻化する。
• 両方のグラフからの最終的表現を要素ごとの連結と全結合層を介して統合し、最終的なセンチメント予測を生成する。
• エポックの早期停止と重み減衰を用いた交差エントロピー損失関数を用いて、エンドツーエンドでモデルを訓練し、ランダム初期化と複数回の実行による頑健性評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 構文グラフと関係グラフをインタラクティブエッジで統合することで、それぞれのグラフ固有の限界を緩和できるか？
• RQ2 構文グラフと関係グラフの間でグラフ間メッセージパッシングを実施することで、センチメント予測に向けた局所的構文的特徴と包括的関係的特徴の両方を効果的に捉える能力が向上するか？
• RQ3 LGI層の数が性能に与える影響は何か？情報統合と過学習のバランスを取る最適な深さは何か？
• RQ4 PW-GCN層の数が最終的な性能に与える影響は何か？より深いGCNスタックは結果を改善するか、それとも劣化を引き起こすか？
• RQ5 提案された局所的・包括的相互作用型グラフとDigNetアーキテクチャは、多様なベンチマークデータセットで一貫して既存の最先端手法を上回る性能を発揮できるか？

主な発見

• DigNetは3つの公開ベンチマークで、それぞれLap14でマクロF1スコアが3.0%、Res14で2.32%、Res15で6.33%高い、新たな最先端性能を達成した。
• Lap14とRes14ではLGI層の最適数は2〜3であり、Res15では5である。これは、深さを増すことで情報統合が向上するが、過学習や情報損失が生じるまでの限界まで性能が向上することを示している。
• Lap14とRes14ではPW-GCN層の最適数は2であり、Res15では3である。これは、パラメータ数の増加と学習の難易度上昇に伴い、ある深さを超えると性能向上が見込めないことを示唆している。
• LGI層におけるグラフ間メッセージパッシング機構により、構文グラフと関係グラフ間で効果的な知識移動が可能となり、遠く離れたアスペクト関連語や孤立した意味的フレーズなどの欠落したヒントを回復できる。
• 性能向上の主な要因は、GCNの層を深くすることで受容 field を拡大するのではなく、2つのグラフ間の協調的相互作用にあることが、アブレーションスタディで確認された。
• LGI層におけるGated、MHA、MLPのバリエーションの使用は一貫した改善をもたらし、DigNet-CgGateが最も優れた全体的性能を達成した。これは、提案されたアーキテクチャ設計の有効性を裏付けている。