[論文レビュー] Aspect Level Sentiment Classification with Deep Memory Network

Duyu Tang, Bing Qin+1 more|arXiv (Cornell University)|May 28, 2016

Sentiment Analysis and Opinion Mining参考文献 30被引用数 82

ひとこと要約

この論文では、外部メモリ上でのコンテンツおよび位置に基づくアテンションを複数層にわたって適用することで、文脈語の重要性を明示的にモデル化する深層メモリネットワークを提案している。このアプローチは、LSTMおよびアテンションを組み込んだLSTMモデルを精度および速度の両面で上回り、SemEval 2014データセットにおいて最先端の特徴ベースのSVMシステムと同等の性能を達成している。

ABSTRACT

We introduce a deep memory network for aspect level sentiment classification. Unlike feature-based SVM and sequential neural models such as LSTM, this approach explicitly captures the importance of each context word when inferring the sentiment polarity of an aspect. Such importance degree and text representation are calculated with multiple computational layers, each of which is a neural attention model over an external memory. Experiments on laptop and restaurant datasets demonstrate that our approach performs comparable to state-of-art feature based SVM system, and substantially better than LSTM and attention-based LSTM architectures. On both datasets we show that multiple computational layers could improve the performance. Moreover, our approach is also fast. The deep memory network with 9 layers is 15 times faster than LSTM with a CPU implementation.

研究の動機と目的

• LSTMのような再帰的モデルが、アスペクトセンチメント予測のための顕著な文脈語を明示的に特定する能力に制限を受ける問題に対処すること。
• 与えられたアスペクトに対して各文脈語の重要性を相対的に捉える、データ駆動的かつ計算的に効率的な手法を開発すること。
• 共有パラメータを持つ外部メモリ上の複数の計算層を活用することで、センチメント分類の性能を向上させること。
• 句構造解析器やセンチメントリソースに依存せず、勾配降下法を用いたエンド・ツー・エンドの学習を可能にすること。
• メモリ上でのハイパラメータ付きのマルチホップアテンション機構が、シングルホップまたは逐次的モデルよりも優れた表現を生み出せることを示すこと。

提案手法

• モデルは、外部メモリ行列上でのコンテンツおよび位置に基づくアテンション機構を実装する複数の計算層をスタックしている。
• 各層は、アスペクトと文脈表現から導出されるクエリベクトルを用いて、アスペクトに関連する文脈語の関連性に基づいてアテンション重みを計算する。
• アテンション機構は、意味的関連性（コンテンツ）と位置的重要性（位置）を反映する重み付き和を計算する。
• 各層の出力は次の層に渡され、層間でパラメータを共有することで、文脈の重要性の階層的抽象化が可能になる。
• 最終層の出力がセンチメント分類の文書表現として用いられ、全ネットワークが交差エントロピー損失を用いてバックプロパゲーションによりエンド・ツー・エンドで学習される。
• モデルは事前学習済み単語埋め込み、句構造解析、センチメントリソースを必要とせず、学習済み表現とアテンションにのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 複数のアテンション層を持つ深層メモリネットワークは、再帰的モデルと比較して、アスペクトセンチメント分類のための文脈語の重要性をより効果的に明示的にモデル化できるか？
• RQ2 アテンション機構にコンテンツ情報に加えて位置情報を取り入れることで、コンテンツのみのアテンションと比較して性能が向上するか？
• RQ3 深層メモリネットワークの性能は、最先端の特徴ベースのSVMおよびLSTMのような順序ベースのニューラルモデルと比較してどうか？
• RQ4 メモリネットワークにおける複数の計算層（ホップ）は、単一層アプローチと比較して分類精度を向上させるか？
• RQ5 実際の運用において、標準的なLSTMベースのアーキテクチャと比較して、提案モデルは顕著に高速化できるか？

主な発見

• 深層メモリネットワークは、SemEval 2014のラップトップおよびレストランデータセットの両方で、最先端の特徴ベースのSVMシステムと同等の性能を達成している。
• 標準的なLSTMおよびアテンションを組み込んだLSTMアーキテクチャと比較して、両データセットの分類精度において優れている。
• 9層の深層メモリネットワークは、CPU上で実装されたLSTMの15倍速く、顕著な計算効率を示している。
• 複数の計算層（ホップ）の使用は性能向上に寄与しており、外部メモリ上の階層的アテンションの利点を裏付けている。
• アテンション機構にコンテンツ情報に加えて位置情報を取り入れることで、より優れた文脈重みの学習と向上したテキスト表現が得られ、コンテンツのみのアテンションと比較して優れている。
• センチメントリソースや句構造解析器といった外部リソースを必要とせず、アテンション機構を用いたエンド・ツー・エンドの学習に依存するだけで効果的である。