[論文レビュー] Japanese Sentiment Classification using a Tree-Structured Long Short-Term Memory with Attention

Ryosuke Miyazaki, Mamoru Komachi|arXiv (Cornell University)|Apr 4, 2017

Topic Modeling参考文献 32被引用数 3

ひとこと要約

本稿では、構文解析木に基づいて再帰的にフレーズ表現を符号化するツリー構造の長短期記憶ネットワーク（Tree-LSTM）に注目メカニズムと極性辞書を組み合わせた手法を提案し、フレーズレベルのアノテーションを必要とせずに文レベルのアノテーションコーパスから効果的に学習することを可能にする。モデルは、注目メカニズムにより顕著なフレーズに注目し、極性辞書を弱い教師信号として用いることで、文書レベルの感情分析性能を向上させる。このアプローチにより、日本語の感情分析ベンチマークで最先端の性能を達成する。

ABSTRACT

Previous approaches to training syntax-based sentiment classification models required phrase-level annotated corpora, which are not readily available in many languages other than English. Thus, we propose the use of tree-structured Long Short-Term Memory with an attention mechanism that pays attention to each subtree of the parse tree. Experimental results indicate that our model achieves the state-of-the-art performance in a Japanese sentiment classification task.

研究の動機と目的

• 構文に基づく感情分析モデルの学習に必要なフレーズレベルのアノテーションが不足している日本語コーパスの問題に対処すること。
• 極性辞書からの弱い教師信号を活用することで、リソースが限られた環境における感情分類の性能を向上させること。
• フレーズレベルの感情信号を一切用いずに、文レベルの感情ラベルのみを用いてエンドツーエンドの再帰的ニューラルネットワークの学習を可能にすること。
• 注目メカニズムと極性辞書が、感情分析において高価なフレーズレベルのアノテーションに効果的に代わることを実証すること。

提案手法

• モデルは、構文解析木に基づいて再帰的にフレーズ表現を符号化するツリー構造の長短期記憶（Tree-LSTM）を用いる。
• 最終的な文の感情予測に各部分木の寄与度を動的に重みづけるために、ルートレベルに注目メカニズムを適用する。
• 極性辞書を用いてフレーズレベルの感情信号の弱い教師信号を提供し、エントリをトレーニング用の擬似アノテーションとして扱う。
• 注目メカニズムは部分木全体にわたって注目重みを計算し、分類時に意味的に重要なフレーズに注目できるようにする。
• フレーズレベルの信号は極性辞書エントリを介して注入され、文レベルの感情ラベルのみを用いてエンドツーエンドで学習される。
• アテンションと辞書ベースの教師信号の両方を統合することで、完全なフレーズレベルアノテーションが欠如する状況下での表現学習を向上させる。

実験結果

リサーチクエスチョン

• RQ1 日本語においてフレーズレベルのアノテーションが存在しない状況下でも、ツリーLSTMモデルが強力な感情分類性能を達成できるか？
• RQ2 弱いリソース環境下での表現学習向上に、注目メカニズムの統合がどの程度有効か？
• RQ3 再帰的ニューラルネットワークの学習において、極性辞書が明示的なフレーズレベルアノテーションにどの程度代替可能か？
• RQ4 注目メカニズムと極性辞書の併用が、片方のコンポーネントのみを用いたモデルを上回る性能を発揮するか？
• RQ5 極性辞書の使用が英語データセットでは性能を低下させるが、日本語データでは向上させるのはなぜか？

主な発見

• 提案手法は、日本語の感情分類ベンチマークで最先端の正確度を達成し、Tree-CRFや他の強力なベースラインを上回る。
• 注目メカニズムと極性辞書の両方を備えたモデルが最も高い正確度を示し、Tree-CRFを1.8ポイント上回る。
• 注目メカニズムのみを用いる場合も標準的なTree-LSTMより性能が向上するが、極性辞書の追加によりより顕著な向上が得られる。
• 英語のStanford Sentiment Treebankでは、極性辞書の使用が性能を低下させる傾向にあり、ドメインの不一致に起因するノイズの影響が考えられる。
• 定性的な分析から、モデルは「cannot be found」や「apprehension」のような感情を担うキーフレーズを正しく特定しているが、注目がずれると否定や極性の反転に対応できない。
• 注目可視化の例から、文脈的に関連するフレーズに注目することで、否定や極性反転の処理においてモデルが頑健に機能していることが示された。