[論文レビュー] Aspect-based Sentiment Classification with Aspect-specific Graph Convolutional Networks

Chen Zhang, Qiuchi Li+1 more|arXiv (Cornell University)|Sep 8, 2019

Sentiment Analysis and Opinion Mining参考文献 32被引用数 15

ひとこと要約

本稿では、構文的依存木をグラフ畳み込みネットワーク（GCN）を介して活用することで、アスペクトベースセンチメント分類における長距離の語の依存関係と構文的制約を捉える、新しいフレームワークであるアスペクト特異的グラフ畳み込みネットワーク（ASGCN）を提案する。GCNと双方向LSTM、アテンションメカニズムを統合することで、ASGCNは3つのベンチマークデータセットで最先端のモデルを上回り、構文的構造と依存関係モデリングがセンチメント予測精度の向上に有効であることを示している。

ABSTRACT

Due to their inherent capability in semantic alignment of aspects and their context words, attention mechanism and Convolutional Neural Networks (CNNs) are widely applied for aspect-based sentiment classification. However, these models lack a mechanism to account for relevant syntactical constraints and long-range word dependencies, and hence may mistakenly recognize syntactically irrelevant contextual words as clues for judging aspect sentiment. To tackle this problem, we propose to build a Graph Convolutional Network (GCN) over the dependency tree of a sentence to exploit syntactical information and word dependencies. Based on it, a novel aspect-specific sentiment classification framework is raised. Experiments on three benchmarking collections illustrate that our proposed model has comparable effectiveness to a range of state-of-the-art models, and further demonstrate that both syntactical information and long-range word dependencies are properly captured by the graph convolution structure.

研究の動機と目的

• アスペクトベースセンチメント分類におけるアテンションやCNNベースのモデルが、構文的に無関係な文脈語や長距離依存関係を捉えることの限界を是正すること。
• グラフ畳み込みネットワーク（GCN）が、アスペクトレベルのセンチメント分析における構文的構造と長距離依存関係をモデリングする可能性を探ること。
• ターゲットアスペクトに関連する特徴をフィルタリング・強化するアスペクト特異的グラフ畳み込みメカニズムを開発すること。
• 構文的情報と長距離依存関係が、センチメント分類のパフォーマンスを顕著に向上させることを実証すること。

提案手法

• 各文から依存木を構築し、語間の構文的関係を表現する。
• 順序情報と文脈を符号化するため、双方向LSTMを適用する。
• 隣接ノードを用いてノード表現を伝搬・更新する多層GCNを実装する。
• 非アスペクト語をフィルタリングし、高レベルのアスペクト関連特徴のみを保持するアスペクト特異的マスキング機構を導入する。
• 洗練されたアスペクト特異的特徴をLSTM出力に再帰的にフィードバックし、アテンションベースの特徴選択を実行する。
• 最終的な特徴表現を用いて、与えられた（文, アスペクト）ペアのセンチメント極性を予測する。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みネットワークは、アスペクトベースセンチメント分類における構文的依存関係と長距離語関係を効果的にモデリングできるか？
• RQ2 GCNをLSTMとアテンションメカニズムと統合することで、従来のアテンションまたはCNNベースのモデルと比較して、センチメント予測性能がどのように向上するか？
• RQ3 アスペクトベースセンチメント分類において最適なパフォーマンスを得るためのGCN層の最適数は何か？
• RQ4 文に複数のアスペクトが存在する場合、モデルのロバスト性とパフォーマンスにどのような影響を与えるか？
• RQ5 アスペクト特異的グラフ畳み込みは、無関係な文脈語を効果的にフィルタリングし、センチメント関連フレーズに注目することができるか？

主な発見

• ASGCNは、Lap14、Rest14、Twitterの3つのベンチマークデータセットで最先端のパフォーマンスを達成し、多数の既存モデルを上回った。
• モデルは2層のGCNで最適なパフォーマンスを発揮し、精度とマクロ-F1スコアがL=2でピークに達し、より深いネットワークでは低下した。
• 実験により、構文的情報と長距離語依存関係がGCNベースのアーキテクチャによって効果的に捉えられ、活用されていることが示された。
• 文に3つ以上のアスペクトが含まれる場合、モデルの精度が不安定になることが判明し、複数アスペクト依存関係のモデリングに関する今後の課題が浮上した。
• マスキング機構は非アスペクト語を効果的にフィルタリングし、センチメント関連フレーズに注目することで、構文的に無関係な文脈からの干渉を低減した。