[論文レビュー] Graph Ensemble Learning over Multiple Dependency Trees for Aspect-level Sentiment Classification

Xiaochen Hou, Peng Qi+5 more|arXiv (Cornell University)|Mar 12, 2021

Sentiment Analysis and Opinion Mining参考文献 25被引用数 4

ひとこと要約

本稿では、複数のパーサーからの依存木を1つの統一されたグラフに統合した後、グラフニューラルネットワーク（GNN）を適用することで、アスペクトレベルのセンチメント分類を実行する、GraphMergeというグラフアンサンブル手法を提案する。多様なパーサーからのエッジを集約することで、パーサーの誤りに対する耐性を高め、モデルの一般化性能を向上させ、追加のパラメータや計算コストを増加させることなく最先端の性能を達成する。

ABSTRACT

Recent work on aspect-level sentiment classification has demonstrated the efficacy of incorporating syntactic structures such as dependency trees with graph neural networks(GNN), but these approaches are usually vulnerable to parsing errors. To better leverage syntactic information in the face of unavoidable errors, we propose a simple yet effective graph ensemble technique, GraphMerge, to make use of the predictions from differ-ent parsers. Instead of assigning one set of model parameters to each dependency tree, we first combine the dependency relations from different parses before applying GNNs over the resulting graph. This allows GNN mod-els to be robust to parse errors at no additional computational cost, and helps avoid overparameterization and overfitting from GNN layer stacking by introducing more connectivity into the ensemble graph. Our experiments on the SemEval 2014 Task 4 and ACL 14 Twitter datasets show that our GraphMerge model not only outperforms models with single dependency tree, but also beats other ensemble mod-els without adding model parameters.

研究の動機と目的

• 構文的構造におけるパーサーの誤りに脆弱な依存ベースのセンチメントモデルの課題を解決すること。
• モデルパラメータや計算コストを増加させることなく、モデルの耐性を向上させること。
• 複数のパーサーから得られる多様な解析仮説を活用し、GNNの一般化性能を向上させること。
• エッジアンサンブルによるグラフ径の短縮によって、GNNにおける過学習および過剰平滑化を軽減すること。
• アスペクトレベルのセンチメント分類において、単一パーサーのモデルや従来のアンサンブル手法を上回ること。

提案手法

• 複数のパーサーからの依存エッジの和集合をとることでアンサンブルグラフを構築し、仮説間で構文的構造を保持する。
• 親から子、子から親へのエッジに対して別々の埋め込みを用いて、関係性を考慮したグラフ自己注意ネットワーク（RGAT）をアンサンブルグラフに適用する。
• 統一されたグラフをGNNの入力として用い、複数の解析ソースからの信頼性の高いエッジを優先的に学習できるようにする。
• 各解析木に対して別個のGNNを導入するのを避け、接続性の向上によるグラフ径の短縮により、過剰パrameter化を抑制する。
• 方向性を区別する関係性注意メカニズムを用いて、構文的関係を符号化する。
• 標準ベンチマークデータセットを用いて、クロスエントロピー損失に基づきエンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 複数の依存解析結果を1つのグラフに統合することで、アスペクトレベルのセンチメント分類におけるパーサー誤りに対する耐性が向上するか？
• RQ2 エッジの和集合による複数解析仮説のアンサンブルは、単一の解析木を用いる場合よりも優れた性能を発揮するか？
• RQ3 GraphMergeは、モデルパラメータや計算コストを追加せずに最先端の結果を達成できるか？
• RQ4 GNNのスタックされた層と比較して、GraphMergeは過学習および過剰平滑化をどの程度軽減できるか？
• RQ5 個々のパーサーが失敗した場合でも、アンサンブルグラフは正しい構文的関係を捉える能力をどのように向上させるか？

主な発見

• SemEval 2014 RestaurantおよびLaptopデータセットにおいて、GraphMergeは最先端の性能を達成し、14Restでは85.16%、14Lapでは80.0%の正確度を記録した。
• ARTSベンチマークでは、GraphMergeは14Restで57.46のアスペクト耐性スコア（ARS）、14Lapでは52.90を達成し、すべての単一パーサーのモデルやBERTを上回った。
• アンサンブルグラフでは、アスペクト語と意見語の間の平均距離を2ホップ以内に短縮し、メッセージパッシングの効率性が向上した。
• 単一のパーサーが正しく予測できない困難なケースにおいても、グラウンドトゥルースの依存エッジの再現率が向上した。
• BERTや単一解析RGATモデルと比較して、GraphMergeはより優れた耐性を示し、14Restでは27.70ポイント、14Lapでは27.10ポイントのARSを記録した。これは、摂動下でも優れた一般化性能を示している。
• グラフ径の短縮とGNNの深さの制限により、過学習および過剰平滑化を回避し、ベースラインモデルよりも少ない層数で学習が可能になった。