[論文レビュー] Effective LSTMs for Target-Dependent Sentiment Classification

Duyu Tang, Bing Qin+2 more|arXiv (Cornell University)|Dec 3, 2015

Sentiment Analysis and Opinion Mining被引用数 559

ひとこと要約

本稿では、感情分析のためのLSTMアーキテクチャにターゲット語の情報を明示的に組み込むことで、ターゲット依存型LSTM（TD-LSTM）およびターゲット接続LSTM（TC-LSTM）モデルを提案する。ターゲット語とその文脈語の間の意味的関係をモデル化することで、構文解析器や感情辞書に依存せずに、Twitterベンチマークで最先端の精度を達成した。

ABSTRACT

Target-dependent sentiment classification remains a challenge: modeling the semantic relatedness of a target with its context words in a sentence. Different context words have different influences on determining the sentiment polarity of a sentence towards the target. Therefore, it is desirable to integrate the connections between target word and context words when building a learning system. In this paper, we develop two target dependent long short-term memory (LSTM) models, where target information is automatically taken into account. We evaluate our methods on a benchmark dataset from Twitter. Empirical results show that modeling sentence representation with standard LSTM does not perform well. Incorporating target information into LSTM can significantly boost the classification accuracy. The target-dependent LSTM models achieve state-of-the-art performances without using syntactic parser or external sentiment lexicons.

研究の動機と目的

• 感情分析におけるターゲット語とその文脈語の間の意味的関連性をモデル化する課題に取り組む。
• 従来の特徴工学の限界を克服する。これは人的作業が多用され、微細なターゲット-文脈関係を捉えるのに不十分である。
• 手動による特徴設計を必要とせず、エンドツーエンドで連続的・分散表現を学習するニューラルネットワークアプローチを開発する。
• LSTMアーキテクチャにターゲット情報を明示的に統合することで、文脈-ターゲット依存関係をよりよく捉え、感情分類の精度を向上させる。
• 標準LSTMモデルがターゲット依存型感情分類タスクで著しく劣る理由を示し、ターゲットに注意を向けるモデル化の必要性を明らかにする。

提案手法

• 文書表現学習中にターゲット語を無視する基本的なLSTMモデルを提案し、感情分類をターゲットに依存しないタスクとして扱う。
• 基本的なLSTMをTD-LSTMに拡張し、前後それぞれのLSTMコンponentsにターゲット語の埋め込みを追加入力として組み込む。
• ターゲット表現と文脈の隠れ状態の間で類似度に似た重みを計算するターゲット接続機構を導入し、関連する文脈語を強調する。
• 教師あり感情分類のため、交差エントロピー損失を用いてバックプロパゲーションでエンドツーエンドで学習する。
• 前後LSTM出力にソフトアテンション機構を実装し、文脈の関連性を動的に重みづけるが、この変種は標準TC-LSTMに劣る性能を示した。
• 単語埋め込みを入力特徴として使用し、ターゲット語の埋め込みは学習中に学習する。分類の前に最終隠れ状態に対して最大プーリングを適用する。

実験結果

リサーチクエスチョン

• RQ1 構文解析や感情辞書に依存せずに、ニューラルネットワークモデルがターゲット-文脈の意味的関係を効果的に学習できるか？
• RQ2 LSTMアーキテクチャにターゲット情報を組み込むことで、ターゲット依存型感情分類のパフォーマンスにどのような影響を与えるか？
• RQ3 アテンションや直接接続を用いてターゲットと文脈語の相互作用をモデル化することで、標準LSTMに比べて分類精度が向上するか？
• RQ4 標準LSTMがターゲット依存型感情分類タスクで失敗する理由は何か？そして、これを是正するために必要なアーキテクチャ的変更は何か？
• RQ5 外部言語資源を一切使わず、純粋にデータ駆動型でエンドツーエンドで学習可能なモデルが最先端のパフォーマンスを達成できるか？

主な発見

• 標準LSTMモデルはターゲット依存型感情分類で著しく劣る。これは、ターゲット-文脈依存関係を捉えていないことを示している。
• TD-LSTMによりターゲット情報をLSTMに組み込むことで、分類精度が著しく向上した。ターゲットに注意を向けるモデル化の必要性が裏付けられた。
• ターゲットと文脈語の間の接続を明示的にモデル化するTC-LSTMモデルは、ベンチマーク用のTwitterデータセットで最先端のパフォーマンスを達成した。
• 外部感情辞書や依存解析を用いない既存の手法（特徴ベースのSVM、適応的再帰的ニューラルネットワーク、辞書強化型ニューラルネットワーク）を上回る性能を示した。
• TD-LSTMのアテンション拡張版は標準TC-LSTMに劣った。これは、相対的に小さなデータセットでパrameter数が増加したことで過学習が生じたためと推測される。
• ターゲット語と文脈語の意味的関連性をモデル化することが、ターゲット依存型設定における正確な感情分類にとって不可欠であることが確認された。