[論文レビュー] Interactive Attention Networks for Aspect-Level Sentiment Classification

Dehong Ma, Sujian Li+2 more|arXiv (Cornell University)|Sep 4, 2017

Sentiment Analysis and Opinion Mining参考文献 13被引用数 126

ひとこと要約

IAN は対話的アテンションによってターゲットと文脈を同時にモデル化し、ターゲットと文脈の表現を生成することで、レストランとノートパソコンのレビューに対する SemEval-2014 Task 4 で最先端の精度を達成した。

ABSTRACT

Aspect-level sentiment classification aims at identifying the sentiment polarity of specific target in its context. Previous approaches have realized the importance of targets in sentiment classification and developed various methods with the goal of precisely modeling their contexts via generating target-specific representations. However, these studies always ignore the separate modeling of targets. In this paper, we argue that both targets and contexts deserve special treatment and need to be learned their own representations via interactive learning. Then, we propose the interactive attention networks (IAN) to interactively learn attentions in the contexts and targets, and generate the representations for targets and contexts separately. With this design, the IAN model can well represent a target and its collocative context, which is helpful to sentiment classification. Experimental results on SemEval 2014 Datasets demonstrate the effectiveness of our model.

研究の動機と目的

• アスペクトレベル感情分類において、ターゲットとそれを取り巻く文脈の両方を正確にモデル化する動機付け。
• 相互注意を通じてターゲット固有および文脈固有の表現を学習する Interactive Attention Networks (IAN) を提案する。
• 相互的なターゲット–文脈モデリングが SemEval-2014 データセットでより優れた感情予測を生むことを示す。
• 相互 supervision を用いてターゲットと文脈の表現を別々に学習することが性能を向上させることを示す。

提案手法

• 文脈とターゲット語列をエンコードするために 2 つの LSTM ブランチを用いる。
• 初期の文脈/ターゲット表現を LSTM の隠れ状態を平均して計算する。
• クロススーパービジョンを用いたアテンションを適用する：文脈アテンションはターゲットの平均表現によって、ターゲットアテンションは文脈の平均表現によって導かれる。
• attended 文脈表現とターゲット表現（cr と tr）を取得し、それらを結合して分類に用いる。
• 非線形層を通して射影し、softmax を適用して感情極性を予測する。
• クロスエントロピーロスと L2 正則化を用い、正則化のためにドロップアウトを適用したエンドツーエンドの訓練。

実験結果

リサーチクエスチョン

• RQ1 ターゲットと文脈を個別に相互注意でモデリングすることは、既存手法よりアスペクトレベルの感情分類を改善するか。
• RQ2 ターゲット表現と文脈表現間の相互作用は、ターゲットの感情予測を改善するか。
• RQ3 IAN は SemEval-2014 のレストランおよびラップトップデータセットで他の LSTM ベースモデルと比べてどうか。

主な発見

Method	Restaurant Accuracy	Laptop Accuracy
Majority	0.535	0.650
LSTM	0.743	0.665
TD-LSTM	0.756	0.681
AE-LSTM	0.762	0.689
ATAE-LSTM	0.772	0.687
IAN	0.786	0.721

• IAN はレストランとノートパソコンの並べて評価したベースラインの中で最も高い精度を達成した。
• ATAE-LSTM と比較して、IAN はレストランの精度を約 1.4%、ノートパソコンの精度を約 3.2%向上させた。
• アブレーション分析により、ターゲットモデリングとターゲット–文脈相互作用が性能に有益であることが示された。
• ケーススタディは、文脈中の感情語が注目され、関連するターゲット語にも意味のあるアテンションが集中していることを示している。
• より長いターゲット（語数が多いほど）は、別個のターゲットモデリングと相互アテンションの恩恵をより受ける。