[論文レビュー] Learning to Attend via Word-Aspect Associative Fusion for Aspect-based Sentiment Analysis

Yi Tay, Anh Tuan Luu+1 more|arXiv (Cornell University)|Dec 14, 2017

Sentiment Analysis and Opinion Mining参考文献 18被引用数 27

ひとこと要約

本稿では、円形畳み込みと関連融合を用いて単語とアスペクトの関係をモデル化する、新しいニューラルアーキテクチャであるAspect Fusion LSTM (AF-LSTM)を提案する。これにより、より効果的な注目メカニズムが可能となり、パラメータ数を削減しながら、ベンチマーク全体で平均してATAE-LSTMを4%-5%上回る最先端の性能を達成する。

ABSTRACT

Aspect-based sentiment analysis (ABSA) tries to predict the polarity of a given document with respect to a given aspect entity. While neural network architectures have been successful in predicting the overall polarity of sentences, aspect-specific sentiment analysis still remains as an open problem. In this paper, we propose a novel method for integrating aspect information into the neural model. More specifically, we incorporate aspect information into the neural model by modeling word-aspect relationships. Our novel model, extit{Aspect Fusion LSTM} (AF-LSTM) learns to attend based on associative relationships between sentence words and aspect which allows our model to adaptively focus on the correct words given an aspect term. This ameliorates the flaws of other state-of-the-art models that utilize naive concatenations to model word-aspect similarity. Instead, our model adopts circular convolution and circular correlation to model the similarity between aspect and words and elegantly incorporates this within a differentiable neural attention framework. Finally, our model is end-to-end differentiable and highly related to convolution-correlation (holographic like) memories. Our proposed neural model achieves state-of-the-art performance on benchmark datasets, outperforming ATAE-LSTM by $4\%-5\%$ on average across multiple datasets.

研究の動機と目的

• 単語埋め込みとアスペクト埋め込みを単純に連結する方法による、学習安定性の低さと高いパラメータコストを抱える、ATAE-LSTMのような既存の注目ベースモデルの限界を解消すること。
• 文脈語とアスペクト語の関係を明示的にモデル化する専用の関連層を設計し、このタスクを順序付きモデリングと注目学習から分離すること。
• 円形畳み込みと相関を用いたホログラム的表現を活用することで、より豊かで微分可能な関連記憶を可能にし、注目メカニズムの有効性を向上させること。
• 連結処理に代えて、円形畳み込みや要素ごとの乗算といったより効率的な統合メカニズムを導入することで、モデルの複雑さを低減しつつ、優れた性能を達成すること。
• 円形畳み込みを用いた関連統合が、連結処理や標準的なハダールド積に比べて、アスペクトに注意を向ける学習において顕著に優れていることを実証すること。

提案手法

• 円形畳み込みと円形相関を用いて、アスペクト埋め込みと単語埋め込みの類似度を計算する、新しい単語-アスペクト関連層を導入する。
• ホログラム的還元表現にインspiredされ、単語-アスペクト関係の高次で圧縮された表現を学習する主な関連演算子として、円形畳み込みを用いる。
• 統合された単語-アスペクト表現を微分可能な注目メカニズムに統合し、モデルがアスペクト文脈に基づいて関連する単語に動的に注目できるようにする。
• ATAE-LSTMにおける連結ベースの統合を、提案された関連統合層に置き換えることでAF-LSTMアーキテクチャを構築し、エンドツーエンドの微分可能性を維持する。
• 複数の統合バリエーション（円形畳み込み: CONV、円形相関: CCOR、要素ごとの乗算: MUL）を評価し、最も効果的な関連演算子を同定する。
• 標準的なバックプロパゲーションを用いてエンドツーエンドでモデルを学習し、注目層が単語-アスペクト関係の学習に焦点を当てず、統合表現の重み付けにのみ注目するようにする。

実験結果

リサーチクエスチョン

• RQ1 専用の関連統合層が、単語-アスペクト関係を明示的にモデル化することで、アスペクトベースのセンチメント分析における注目性能を向上させることができるか？
• RQ2 円形畳み込みが、円形相関や要素ごとの乗算といった他の関連演算子よりも、単語-アスペクト相互作用の学習において優れているか？
• RQ3 連結処理を関連統合に置き換えることで、ATAE-LSTMと比較してモデルの複雑さを低減しつつ性能を向上させることができるか？
• RQ4 AF-LSTMモデルは、強力なベースライン（AT-LSTMやATAE-LSTM）と比較して、異なるデータセットおよび分類設定（2値 vs. 3値）においてどのように性能を発揮するか？
• RQ5 定性的分析により、モデルの注目メカニズムが、さまざまなアスペクトに適切に適合しているか、その程度はどの程度か？

主な発見

• 円形畳み込みを用いたAF-LSTM (AF-LSTM CONV) は、複数のベンチマークデータセット全体で平均してATAE-LSTMを4%-5%上回る最先端の性能を達成する。
• AF-LSTM (CONV) は、すべての設定でATAE-LSTMを顕著に上回り、3値分類では3%-8%、2値分類では2%-3%の改善を示す。
• AF-LSTMの要素ごとの乗算（MUL）バージョンは、AT-LSTMよりも約1%、ATAE-LSTMよりも約3%優れている。これは、単純な統合が連結処理よりも効果的である可能性を示唆している。
• 円形畳み込みは円形相関よりも効果的であると考えられ、後者の非対称性が、単語とアスペクトの役割が入れ替わる状況で性能を低下させる可能性があるためである。
• AF-LSTMのパラメータ数（約810K）は、AT-LSTM（約1.1M）やATAE-LSTM（約1.4M）よりも少ない。性能を損なわず、効率性が向上していることを示している。
• 定性的分析により、AF-LSTMはアスペクト語に応じて注目を適切にシフトさせていることが確認された。一方、ATAE-LSTMは特に「Appetizer」と「Service」のようなアスペクトに対して一貫してそのような適応を示さない。