[論文レビュー] Linguistically Regularized LSTMs for Sentiment Classification

Qian Qiao, Minlie Huang+2 more|arXiv (Cornell University)|Nov 12, 2016

Sentiment Analysis and Opinion Mining参考文献 37被引用数 94

ひとこと要約

この論文では、感情辞書、否定語、強調語の効果を学習された正則化子を通じて明示的にモデル化することで、文単位の感情分類を向上させる言語的正則化LSTMを提案する。このアプローチは、フレーズ単位のアノテーションや構文解析木を必要とせず、双方向LSTMにおける動的感情分布正則化により言語的感情シフトを捉えることで、最先端の結果を達成する。

ABSTRACT

Sentiment understanding has been a long-term goal of AI in the past decades. This paper deals with sentence-level sentiment classification. Though a variety of neural network models have been proposed very recently, however, previous models either depend on expensive phrase-level annotation, whose performance drops substantially when trained with only sentence-level annotation; or do not fully employ linguistic resources (e.g., sentiment lexicons, negation words, intensity words), thus not being able to produce linguistically coherent representations. In this paper, we propose simple models trained with sentence-level annotation, but also attempt to generating linguistically coherent representations by employing regularizers that model the linguistic role of sentiment lexicons, negation words, and intensity words. Results show that our models are effective to capture the sentiment shifting effect of sentiment, negation, and intensity words, while still obtain competitive results without sacrificing the models' simplicity.

研究の動機と目的

• 高価なフレーズ単位のアノテーションや構文解析木構造に依存しない、シンプルで効率的なシーケンスモデルを、文単位の感情分類のために開発すること。
• 感情辞書、否定語、強調語といった言語的リソースをニューラルシーケンスモデルに統合し、感情分類のパフォーマンスを向上させること。
• 感情シフト要因（例：否定語、強調語）の言語的役割を、シーケンス内の位置間での感情分布遷移を正則化することでモデル化すること。
• モデルのシンプルさと解釈可能性を保ちながら、最先端のモデルと同等のパフォーマンスを達成すること。

提案手法

• 隣接する位置におけるLSTMシーケンス内の感情分布間の学習された変換を強制する言語的正則化子を導入する。
• 否定語（例：not）が1つのトークンから次に続くトークンに感情極性を反転またはシフトさせる方法をモデル化するために、変換行列 $ T_{nw} $ を適用する。
• 強調語（例：very, extremely）のための別個の正則化子を用い、隣接する位置間での感情値の増幅または減衰をモデル化する。
• 前向きおよび後向きの文脈を捉えるために双方向LSTMを実装し、感情シフト要因のモデル化を向上させる。
• フレーズ単位のラベル付けを避けるために、文単位のアノテーションのみでエンドツーエンドにモデルを学習する。
• 最小化演算子を適用して否定や強調語の影響範囲を部分的に扱い、耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 否定語および強調語の効果をモデル化する言語的正則化子が、シーケンスモデルにおける感情分類を改善できるか？
• RQ2 このような正則化子は、構文解析木やフレーズ単位のアノテーションを必要とせずに、標準的なLSTMに効果的に統合できるか？
• RQ3 否定語と強調語は、シーケンス内の位置間でどのように感情分布を変化させるのか？ そして、これらのシフトは学習された変換によってモデル化可能か？
• RQ4 提案手法は、モデルのシンプルさを保ちながら、最先端のモデルと同等のパフォーマンスを達成できるか？

主な発見

• モデルは、例として「not very good」のような非常に肯定的なフレーズを中立的または否定的感情に変換する否定語の感情シフト行動を効果的に捉えている。
• 否定語は肯定的から否定的、否定的から肯定的へと感情を一貫してシフトさせ、例として「not interesting」や「no good scenes」が顕著である。
• 強調語（例：very, most）は感情を増幅させ、21のフレーズで否定的から非常に否定的、肯定的から非常に肯定的へと変化している。
• 否定語によって修飾された中立的フレーズ（例：not at home）は中立のまま維持され、モデルが感情関連語と非感情語を区別できる能力を確認している。
• モデルは微細な感情分類においても高いパフォーマンスを維持しており、強調語が否定的および肯定的フレーズに適用された21件中21件で感情を正しく増幅させている。
• 複雑な木構造アーキテクチャに依存するモデルと比較して、文単位のアノテーションのみでSSTデータセットで最先端のパフォーマンスを達成している。