[論文レビュー] Earlier Attention? Aspect-Aware LSTM for Aspect-Based Sentiment Analysis

Bowen Xing, Lejian Liao+5 more|arXiv (Cornell University)|May 19, 2019

Sentiment Analysis and Opinion Mining参考文献 22被引用数 7

ひとこと要約

本稿では、アテンションメカニズムの後処理に依存するのではなく、コンテキストモデリングの段階でアスペクト情報をLSTMセルに直接統合する、新しいLSTMの変種であるAspect-Aware LSTM (AA-LSTM)を提案する。これにより、AA-LSTMは動的にアスペクト固有の文脈表現を生成し、SemEval-2014データセットにおけるセンチメント分類性能を著しく向上させ、標準LSTMおよび最先端モデルと比較して最大7%のF1-macroスコアの絶対的向上を達成する。

ABSTRACT

Aspect-based sentiment analysis (ABSA) aims to predict fine-grained sentiments of comments with respect to given aspect terms or categories. In previous ABSA methods, the importance of aspect has been realized and verified. Most existing LSTM-based models take aspect into account via the attention mechanism, where the attention weights are calculated after the context is modeled in the form of contextual vectors. However, aspect-related information may be already discarded and aspect-irrelevant information may be retained in classic LSTM cells in the context modeling process, which can be improved to generate more effective context representations. This paper proposes a novel variant of LSTM, termed as aspect-aware LSTM (AA-LSTM), which incorporates aspect information into LSTM cells in the context modeling stage before the attention mechanism. Therefore, our AA-LSTM can dynamically produce aspect-aware contextual representations. We experiment with several representative LSTM-based models by replacing the classic LSTM cells with the AA-LSTM cells. Experimental results on SemEval-2014 Datasets demonstrate the effectiveness of AA-LSTM.

研究の動機と目的

• 標準LSTMがアスペクトベースセンチメント分析（ABSA）において、コンテキストモデリングの過程でアスペクトに無関係な情報が保持され、アスペクトに関連する情報が捨てられるという限界を是正すること。
• シーケンス符号化中にLSTMセル自体がターゲットアスペクトに意識的になることで、文脈表現の質を向上させること。
• 既存のアテンションベースのABSAモデルのアーキテクチャを変更せずに、即座に適用可能なLSTMの変種を開発すること。
• アスペクト情報の早期統合が、より効果的でアスペクト固有の隠れ状態表現を生み出すことの有効性を示すこと。

提案手法

• 前向き伝搬の段階で、アスペクト埋め込みを入力ゲート、忘れゲート、出力ゲートに統合した、変更されたLSTMセルを導入する。
• LSTMセルの更新ルールを変更し、アスペクト情報と候補セル状態および隠れ状態の計算を統合する。
• アスペクトベクトルを動的制御信号として用い、関連する特徴を優遇し、無関係な特徴を抑制する。
• アテンション機構や分類ヘッドを変更しないで、LSTMセルのみを置き換えることで、標準アテンションメカニズムとの互換性を維持する。
• アブレーションと比較のため、複数のベースラインモデル（例：ATAE-LSTM、IAN、RAM）のLSTMセルをAA-LSTMセルに置き換える。
• アスペクト埋め込みがセル状態の更新を調整するゲート機構を採用し、アスペクト固有のコンテキストを選択的に保持する。

実験結果

リサーチクエスチョン

• RQ1 LSTM計算の初期段階でアスペクト情報を統合することで、アスペクトベースセンチメント分析のための文脈表現が向上するか？
• RQ2 標準LSTMと比較して、アスペクトに意識的なコンテキストモデリングは、隠れ状態におけるアスペクトに無関係な情報の影響を軽減するか？
• RQ3 AA-LSTMを既存の最先端ABSAモデルの標準LSTMに置き換えた場合、性能はどの程度か？
• RQ4 RAM や IAN に搭載された高度なアテンションメカニズムと組み合わせた場合、AA-LSTMは性能向上を達成できるか？
• RQ5 AA-LSTMの向上効果は、文脈モデリングの向上によるものか、単に埋め込みにアスペクトを含めただけによるものか？

主な発見

• AA-LSTMは、レストランデータセットにおけるATSAおよびACSAタスクにおいて、標準LSTMと比較して最大7%のF1-macroスコアの絶対的向上を達成する。
• AA-LSTMは、ATAE-LSTM、IAN、RAMなど複数のベースラインモデルにおいても一貫した性能向上を示し、AA-LSTMの汎用性を裏付けている。
• ATAE-LSTMですらアスペクト埋め込みを単語表現に組み込んでいるにもかかわらず、ACSAタスクにおいてAA-LSTMがF1-macroで優れていることから、AA-LSTMの優れた文脈モデリング能力が証明されている。
• RAMのような複雑なアテンションメカニズムと組み合わせても、AA-LSTMは高い性能を維持しており、相乗効果を発揮する強力な互換性を示している。
• 唯一の変更が標準LSTMをAA-LSTMに置き換えることであるため、向上効果はすべてより優れた文脈表現に起因しており、モデルアーキテクチャの変更とは無関係である。
• 結果から、LSTMセルへのアスペクト情報の早期統合が、単なるアテンション後処理に比べ、より効果的でアスペクト固有の隠れ状態表現を生み出すことが確認された。