[論文レビュー] Target-Dependent Sentiment Classification with Long Short Term Memory.

Duyu Tang, Bing Qin+2 more|arXiv (Cornell University)|Dec 3, 2015

Topic Modeling参考文献 20被引用数 105

ひとこと要約

この論文は、感情分析の性能を向上させるために、順序モデリングにターゲット語の情報を明示的に組み込む2つのターゲット依存型Long Short-Term Memory（LSTM）モデルを提案する。動的にターゲットとその文脈の間の意味的関係を捉えることで、構文解析器や外部の感情辞書に依存せずに、Twitterベンチマークで最先端の性能を達成する。

ABSTRACT

Target-dependent sentiment classification remains a challenge: modeling the semantic relatedness of a target with its context words in a sentence. Different context words have different influences on determining the sentiment polarity of a sentence towards the target. Therefore, it is desirable to integrate the connections between target word and context words when building a learning system. In this paper, we develop two target dependent long short-term memory (LSTM) models, where target information is automatically taken into account. We evaluate our methods on a benchmark dataset from Twitter. Empirical results show that modeling sentence representation with standard LSTM does not perform well. Incorporating target information into LSTM can significantly boost the classification accuracy. The target-dependent LSTM models achieve state-of-the-art performances without using syntactic parser or external sentiment lexicons.

研究の動機と目的

• 感情極性がターゲットとその周囲の文脈との関係に依存するターゲット依存型感情分析の課題に対処すること。
• 標準的なLSTMが、ターゲットとその文脈語の意味的関連性を効果的にモデル化できないという制限を克服すること。
• 順序符号化中にターゲット情報を自動的に組み込むことができるニューラルアーキテクチャを開発すること。
• 構文解析器や感情辞書を用いずに、ベンチマーク用のTwitterデータセットで最先端の性能を達成すること。
• ターゲット-文脈相互作用をモデル化することで、標準的なLSTMアプローチに比べて分類精度が向上することを示すこと。

提案手法

• LSTMユニットの入力ゲートおよびセル状態にターゲット語表現を統合する2つのターゲット依存型LSTMモデルの変種を設計すること。
• 順序処理中に文脈語の埋め込みと動的に組み合わせられる学習可能なターゲット表現を使用すること。
• ターゲットを基準に前向きおよび後ろ向きの両方向に長距離依存関係を捉えるために、双方向LSTMを適用すること。
• マルチクラス感情分類のための交差エントロピー損失を用いて、エンドツーエンドでモデルを訓練すること。
• 入力特徴として単語埋め込みを用い、関連する文脈語を強調するためのターゲット固有のアテンションメカニズムを導入すること。
• パラメータを更新するために、時間軸に沿った誤差逆伝播を用いた確率的勾配降下法でモデルを最適化すること。

実験結果

リサーチクエスチョン

• RQ1 標準的なLSTMモデルは、感情分類のためのターゲットとその文脈の意味的関係を効果的に捉えられるか？
• RQ2 LSTMアーキテクチャにターゲット情報を明示的に統合することで、分類性能にどのような影響を与えるか？
• RQ3 感情辞書や構文解析器といった外部リソースに依存せずに、ターゲット依存型LSTMがどの程度最先端の結果を達成できるか？
• RQ4 ターゲット-文脈相互作用をモデル化することで、感情極性予測の正確性にどのような影響を与えるか？
• RQ5 性能およびアーキテクチャの単純さの観点から、提案されたモデルは既存のアプローチとどのように比較できるか？

主な発見

• 標準的なLSTMモデルは、ターゲット-文脈意味的関係のモデル化が不十分であるため、ターゲット依存型感情分類において性能が低い。
• LSTMアーキテクチャにターゲット情報を統合することで、Twitterベンチマークデータセットにおける分類精度が顕著に向上する。
• 提案されたターゲット依存型LSTMモデルは、構文解析器や外部の感情辞書を用いずに、最先端の性能を達成する。
• モデルは、ターゲット-文脈相互作用を明示的にモデル化することで、一般の順序モデリングに比べてより正確な感情予測が可能であることを示している。
• 性能向上の要因は、ターゲットに対する関連性に基づいて文脈語の重みを動的に評価できる能力に起因する。
• 結果は、ターゲットに注意を向けるLSTMユニットを用いたエンドツーエンド学習の有効性を裏付けている。