[論文レビュー] CAN: Constrained Attention Networks for Multi-Aspect Sentiment Analysis

Mengting Hu, Shiwan Zhao+5 more|arXiv (Cornell University)|Dec 27, 2018

Sentiment Analysis and Opinion Mining参考文献 35被引用数 10

ひとこと要約

本稿では、正規直交性およびスパarsity正則化を注意メカニズムに適用することでノイズを低減し、アスペクト固有の表現学習を向上させる、Constrained Attention Networks (CAN) を提案する。実験の結果、特にアスペクトカテゴリ検出（ACD）を補助タスクとして用いるマルチタスク設定において、最先端のモデルを上回る性能を示した。

ABSTRACT

Aspect level sentiment classification is a fine-grained sentiment analysis task. To detect the sentiment towards a particular aspect in a sentence, previous studies have developed various attention-based methods for generating aspect-specific sentence representations. However, the attention may inherently introduce noise and downgrade the performance. In this paper, we propose constrained attention networks (CAN), a simple yet effective solution, to regularize the attention for multi-aspect sentiment analysis, which alleviates the drawback of the attention mechanism. Specifically, we introduce orthogonal regularization on multiple aspects and sparse regularization on each single aspect. Experimental results on two public datasets demonstrate the effectiveness of our approach. We further extend our approach to multi-task settings and outperform the state-of-the-art methods.

研究の動機と目的

• アスペクトレベルのセンチメント分類において、注意メカニズムのノイズ問題に寄与する、関係のないまたは他アスペクトの語に誤って注目してしまう問題を解決すること。
• 非重複するアスペクト間で注意分布を直交させる制約を課し、スパースな注意を各アスペクトごとに適用することで、アスペクト固有の文表現を向上させること。
• 補助タスクとしてアスペクトカテゴリ検出（ACD）を導入することでマルチタスク学習を強化し、性能を向上させること。
• 多アスペクトセンチメント分析における、単一タスクおよびマルチタスク設定の両方で制約付き注意メカニズムの有効性を検証すること。

提案手法

• 複数の非重複アスペクトの注意重み間に正規直交性正則化を導入し、重なりを最小限に抑え、明確な注目領域を促進する。
• 各アスペクトごとにスパース正則化を適用し、関係のないトークンからのノイズを低減するため、少数の重要な意見語に注目を集める。
• スパース正則化（R_s）と正規直交性正則化（R_o）を統合した包括的な損失関数を定式化し、注意分布の共同最適化を実現する。
• 文脈表現を共有するように、アスペクトレベルセンチメント分類（ALSC）とアスペクトカテゴリ検出（ACD）を同時に学習するマルチタスク学習フレームワークに拡張する。
• ALSCおよびACDタスクの両方で注意制約を適用することで、一般化性能を向上させ、より優れたアスペクト固有の表現学習を実現する。
• 注意重みの可視化により、モデルの挙動を分析し、制約付き注意がより解釈可能で正確な注意分布をもたらすことを検証する。

実験結果

リサーチクエスチョン

• RQ1 複数のアスペクト間で正規直交性正則化を適用することで、注目領域の局在化が向上し、関係のない語からの干渉が軽減されるか？
• RQ2 各アスペクトごとのスパース正則化により、重要な意見語への注目が強化され、アスペクト固有表現におけるノイズが低減されるか？
• RQ3 補助タスクとしてアスペクトカテゴリ検出（ACD）を導入した共同学習により、アスペクトレベルセンチメント分類（ALSC）の性能が向上するか？
• RQ4 標準的な注意メカニズムと比較して、制約付き注意メカニズムは、注意分布の解釈可能性およびセンチメント分類精度の両面で優れているか？
• RQ5 スパースおよび正規直交性正則化を併用することで、重複する・非重複するアスペクトの両方を含むさまざまなデータセットタイプにおいて、モデル性能にどのような影響を与えるか？

主な発見

• CANは、2つの公開多アスペクトセンチメント分析データセットにおいて、最先端のモデルを顕著に上回る性能を示し、アスペクトレベルセンチメント分類における優れた性能を実証した。
• 注意可視化の結果、CANはより直交的かつスパースな注意分布を生成しており、各アスペクトが明確に異なる関連語（例：food に対して 'outstanding'、service に対して 'tops'）に注目していることが確認された。
• マルチタスク学習において、ACDを補助タスクとして導入することでALSCの性能がさらに向上し、共同学習を施したCANが最良の結果を達成した。
• 正則化損失曲線から、スパース（R_s）および正規直交性（R_o）正則化の両方が学習中に有意に減少しており、最適化が成功していることが確認された。
• 重複するケース（例：'highly disappointed' で複数のアスペクトが同じ意見スニペットを共有する）においても、CANは正しく両アスペクトのセンチメントを同定・割り当てることができた。
• 誤差解析から、明示的な意見語がない否定文では、注目が均等に分散してしまうという限界が判明し、強いセンチメントの兆候が欠如しているためである。