[論文レビュー] Causal Intervention Improves Implicit Sentiment Analysis

Siyin Wang, Jie Zhou+5 more|arXiv (Cornell University)|Aug 19, 2022

Sentiment Analysis and Opinion Mining被引用数 9

ひとこと要約

本稿では、明示的センチメント語との誤った相関を排除するために道具変数を用いる因果介入モデルであるISAIVを提案する。これにより、モデルの頑健性と推論能力が向上する。2段階学習を適用して文とセンチメントの純粋な因果効果を分離することで、一般およびアスペクトベースの暗黙的センチメント分析の両タスクで最先端の性能を達成し、精度とF1で強力なベースラインを上回る。

ABSTRACT

Despite having achieved great success for sentiment analysis, existing neural models struggle with implicit sentiment analysis. This may be due to the fact that they may latch onto spurious correlations ("shortcuts", e.g., focusing only on explicit sentiment words), resulting in undermining the effectiveness and robustness of the learned model. In this work, we propose a causal intervention model for Implicit Sentiment Analysis using Instrumental Variable (ISAIV). We first review sentiment analysis from a causal perspective and analyze the confounders existing in this task. Then, we introduce an instrumental variable to eliminate the confounding causal effects, thus extracting the pure causal effect between sentence and sentiment. We compare the proposed ISAIV model with several strong baselines on both the general implicit sentiment analysis and aspect-based implicit sentiment analysis tasks. The results indicate the great advantages of our model and the efficacy of implicit sentiment reasoning.

研究の動機と目的

• 明示的センチメント語のような誤った相関に依存するため、ニューラルモデルの一般化性能が低い暗黙的センチメント分析の問題に対処すること。
• モデル予測を歪める共変量を同定することで、暗黙的センチメント分析を因果的視点から再定式化すること。
• 入力文とセンチメントラベルの間の純粋な因果効果を、共変量の影響とは独立して分離する手法を開発すること。
• 因果介入により語彙的ショートカットに依存しないようにすることで、モデルの頑健性を向上させること。
• 実証的評価と敵対的テストを用いて、暗黙的センチメント分析における因果的推論の有効性を検証すること。

提案手法

• モデルは2段階の学習プロセスを採用する：まず、道具変数と入力文の関係をモデル化する。
• 道具変数は、入力に適用される確率的摂動として定義され、観測されない共変量の代理として機能する。
• 2段階目では、最初の段階の関係を用いて予測を調整し、共変量とセンチメントの間の誤った相関を除去する。
• 構造的因果モデル（SCM）を活用して因果関係を形式化し、総合的効果とdo計算に基づく因果効果を区別する。
• 文のセンチメントへの直接的因果効果を特定するために、道具変数推定を適用し、共変量経由の間接的経路を除外する。
• フレームワークを深層ニューラルネットワークに統合することで、因果的解釈可能性を保ちつつエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 道具変数を用いた因果介入は、暗黙的センチメント分析タスクの性能向上に寄与するか？
• RQ2 ISAIVモデルは、明示的センチメント語をショートカットとしての依存度をどのように低減するか？
• RQ3 標準的なニューラルベースラインと比較して、敵対的攻撃下でのモデルの頑健性はどの程度向上するか？
• RQ4 文とセンチメントの間の純粋な因果効果を分離することで、暗黙的センチメント例における一般化性能が向上するか？
• RQ5 アスペクトベースおよび完全に暗黙的なケースを含む、多様な暗黙的センチメントベンチマークにおいて、モデルの性能はいかがなっているか？

主な発見

• レストランデータセットでは、ISAIVは58.77%の精度と48.56%のF1を達成し、BERT-SPC（57.04%の精度、44.43%のF1）を上回った。
• ラップトップデータセットでは、ISAIVは59.45%の精度と43.24%のF1を達成し、BERT-SPCの51.05%の精度と41.01%のF1を上回った。
• 敵対的攻撃の結果、ISAIVはベースラインより頑健であることが示され、誤ったセンチメント手がかりへの依存が低減していることが確認された。
• 事例研究から、文脈的に曖昧な状況下でも、明示的センチメント語が存在しない場合に正しくセンチメントを推論していることが明らかになった。
• アブレーションおよび頑健性分析により、語彙的ショートカットからの共変量の影響を排除することで、純粋な因果効果を効果的に抽出していることが裏付けられた。
• 「gratuity」のようなレアワールド知識を要する状況では限界が見られ、外部知識の統合が依然として課題であると判明した。