[論文レビュー] Sentence Constituent-Aware Aspect-Category Sentiment Analysis with Graph Attention Networks

Yuncong Li, Cunxiang Yin+1 more|arXiv (Cornell University)|Oct 4, 2020

Sentiment Analysis and Opinion Mining参考文献 24被引用数 6

ひとこと要約

本稿では、文構造解析木を用いて関連する要因カテゴリ関連ノードを特定することで、感情語の誤一致を低減し、要因カテゴリ感情分析を向上させる、構文的構成要素に配慮したネットワーク（SCAN）を提案する。グラフ自己注意ネットワークとインタラクティブ損失関数を用い、5つのデータセットで先行手法を上回り、特にBERTの微調整を組み合わせた場合に顕著な性能向上を示す。感情語と要因カテゴリの不一致問題を効果的に緩和する。

ABSTRACT

Aspect category sentiment analysis (ACSA) aims to predict the sentiment polarities of the aspect categories discussed in sentences. Since a sentence usually discusses one or more aspect categories and expresses different sentiments toward them, various attention-based methods have been developed to allocate the appropriate sentiment words for the given aspect category and obtain promising results. However, most of these methods directly use the given aspect category to find the aspect category-related sentiment words, which may cause mismatching between the sentiment words and the aspect categories when an unrelated sentiment word is semantically meaningful for the given aspect category. To mitigate this problem, we propose a Sentence Constituent-Aware Network (SCAN) for aspect-category sentiment analysis. SCAN contains two graph attention modules and an interactive loss function. The graph attention modules generate representations of the nodes in sentence constituency parse trees for the aspect category detection (ACD) task and the ACSA task, respectively. ACD aims to detect aspect categories discussed in sentences and is a auxiliary task. For a given aspect category, the interactive loss function helps the ACD task to find the nodes which can predict the aspect category but can't predict other aspect categories. The sentiment words in the nodes then are used to predict the sentiment polarity of the aspect category by the ACSA task. The experimental results on five public datasets demonstrate the effectiveness of SCAN.

研究の動機と目的

• 関連しない感情語が要因カテゴリに誤って関連付けられる、要因カテゴリ感情分析における不一致問題に対処すること。
• 追加のアノテーションを必要とせず、構文的構造（構文解析木）を活用して感情極性予測を向上させること。
• 文の構成要素を別々にモデル化する二重グラフ自己注意メカニズムを設計し、要因カテゴリ検出と感情分類を分離して処理すること。
• 異なる要因カテゴリに対して異なるノード注目を促進するインタラクティブ損失関数を導入し、注目度の区別を高めること。
• Bert微調整を組み合わせたバージョンを含め、多様なデータセットにおいてSCANの有効性を実証すること。

提案手法

• SCANは2つのグラフ自己注意ネットワーク（GAT）を採用する：1つは要因カテゴリ検出（ACD）に、もう1つは要因カテゴリ感情分析（ACSA）に使用する。両者とも文の構文解析木上で動作する。
• ACD用のGATは、解析木内の要因カテゴリを表すノードを特定することに注目する。一方、ACSA用のGATは、各要因カテゴリに関連する感情語に注目する。
• 1つの要因カテゴリに予測されたノードが他の要因カテゴリに対しても予測されないよう保証するため、インタラクティブ損失関数を導入する。これにより、注目度の区別が促進される。
• 構文解析木の生成にはBerkeley Neural Parserを用い、GATの入力構造として利用する。
• BERTを用いてSCANをさらに強化し、GATが要因カテゴリ関連の構成要素を特定することで、感情予測の精度が向上するように微調整する。
• ACDタスクを補助タスクとして用い、ACSAタスクがより正確な感情語選択に向かうように、エンドツーエンドで学習を行う。

実験結果

リサーチクエスチョン

• RQ1 構文解析木上でグラフ自己注意メカニズムを適用することで、感情語とそのターゲット要因カテゴリの対応をより正確にできるか？
• RQ2 要因カテゴリ間の注目度の重複をペナルティとするインタラクティブ損失関数は、感情予測における不一致問題を軽減できるか？
• RQ3 複数の公開ACSAベンチマークにおいて、既存のアテンションベースおよびキャプセルベースのモデルと比較して、SCANの性能はどの程度向上するか？
• RQ4 解析木からの構文的構造の統合は、モデルの汎化性とロバスト性をどの程度向上させるか？
• RQ5 BERTと組み合わせることでSCANは、要因カテゴリ感情分析タスクの性能をさらに向上させることができるか？

主な発見

• SCANはRest14-hard、RestLarge-hard、MAMS-ACSAの3つのデータセットで、すべての非BERTベースラインを上回り、1文に複数の感情極性を検出する能力において優れた性能を示した。
• MAMS-ACSAデータセットではF1スコア75.405を達成し、次に良い非BERTモデル（As-capsule：75.116）を上回り、全5データセットで一貫した向上を示した。
• SCAN-BERT-AVEはMAMS-ACSAデータセットでF1スコア80.444を記録し、BERTと組み合わせた際の構成要素に配慮した注目メカニズムの有効性が顕著に示された。
• アブレーションスタディの結果、インタラクティブ損失を除いた場合（SCAN-w/o iLoss）は平均でF1スコアが0.577ポイント低下し、その注目度の区別向上に果たす貢献が確認された。
• 解析木構造を除いた場合（SCAN-w/o tree）は平均でF1スコアが1.756ポイント低下し、構文的構造が正確なノード選択に不可欠であることが裏付けられた。
• SCAN-BERTはSCAN-BERT-AVEより性能が劣った。これは、BERT微調整中にACSA用のGATが適切に学習されていない可能性を示唆し、より良い学習調整の必要性を示している。