[論文レビュー] Aspect Level Sentiment Classification with Attention-over-Attention Neural Networks

Binxuan Huang, Yanglan Ou+1 more|arXiv (Cornell University)|Apr 18, 2018

Sentiment Analysis and Opinion Mining参考文献 17被引用数 24

ひとこと要約

本稿では、文脈文とアスペクトを二重LSTMと相互関係を捉える注目メカニズムを用いて同時にモデル化する、アテンション・オーバー・アテンション（AOA）ニューラルネットワークを提案する。このモデルは、SemEval 2014 データセットにおいて、従来のLSTMベースの手法を上回り、レストランデータセットで81.2%のF1スコア、ラップトップデータセットで74.5%を達成し、IAN や ATAE-LSTM などのモデルと比較して顕著な改善を示した。

ABSTRACT

Aspect-level sentiment classification aims to identify the sentiment expressed towards some aspects given context sentences. In this paper, we introduce an attention-over-attention (AOA) neural network for aspect level sentiment classification. Our approach models aspects and sentences in a joint way and explicitly captures the interaction between aspects and context sentences. With the AOA module, our model jointly learns the representations for aspects and sentences, and automatically focuses on the important parts in sentences. Our experiments on laptop and restaurant datasets demonstrate our approach outperforms previous LSTM-based architectures.

研究の動機と目的

• 深層ニューラルネットワークを用いて、アスペクトと文脈文を同時にモデル化することで、アスペクトレベルのセンチメント分類を向上させること。
• 従来のモデルがアスペクトと文を別々に扱うという限界を是正し、センチメントを示す語に最適な注目を可能にすること。
• アスペクトと文の間で双方向の注目を捉えるメカニズムを開発し、センチメント極性予測に最も関連する語に動的に焦点を当てる。
• 標準的なベンチマークデータセットにおける、最新のLSTMベースのモデルを上回ること。

提案手法

• 文脈文とアスペクトターゲットを別々に処理する2つのLSTMを用い、文脈的およびターゲット固有の表現を学習する。
• 相互注目（アテンション・オーバー・アテンション：AOA）モジュールを採用し、アスペクトから文への注目と、文からアスペクトへの注目を計算することで、関連する語に動的に焦点を当てる。
• アスペクトの注目に基づいて文の最も関連する語に注目し、その結果得られる最終的な文の表現を生成する。同様に、アスペクト表現に対しても、文の関連語に注目する。
• 両方のLSTMからの最終表現を連結し、分類器を適用してセンチメント極性（肯定、否定、ニュートラル）を予測する。
• 手動の特徴工学を用いずに、ワード埋め込みを用いてエンドツーエンドの表現を学習することで、一般化性能を向上させ、言語処理の前処理への依存を減らす。
• ドロップアウトとバッチ正則化を訓練中に適用し、過学習を低減し、ランダムな重み初期化に対してもモデルの安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 アスペクトと文の間で双方向の注目を用いた統合的モデリングは、アスペクトレベルのセンチメント分類の精度を向上させることができるか？
• RQ2 AOAメカニズムは、特定のアスペクトに関連する文のセンチメントを示す語を効果的に同定できるか？
• RQ3 提案されたAOA-LSTMモデルは、標準的なベンチマークデータセットにおいて、既存の最先端モデル（IAN や ATAE-LSTM）と比較してどのように性能を発揮するか？
• RQ4 このモデルは、レストランレビューとラップトップレビューといった異なるドメインに、どの程度一般化できるか？

主な発見

• AOA-LSTMモデルは、SemEval 2014 レストランデータセットでテストF1スコア81.2%を達成し、以前の最高スコアモデル（IAN）を2.6ポイント上回った。
• ラップトップデータセットではF1スコア74.5%を記録し、IANと比較して1.9ポイントの改善を示し、ドメインを問わず一貫した向上を示した。
• 10回のランダム実行における最高性能は、レストランデータセットで81.2%（平均 ± 標準偏差：0.797 ± 0.008）を記録し、高い安定性と再現性を示した。
• 事例研究では、注目メカニズムが「サービス」に対して「slow」のようなセンチメントを示す語を的確に強調していることが確認され、アスペクトと関連語の適切な対応が実現していることが示された。
• 誤差解析の結果、モデルは非構成的表現や慣用句（例：'on point'）、複雑な否定表現を処理する際に苦労することが判明し、比喩的または文脈的に繊細な言語の処理に限界があることが示された。