[論文レビュー] A Variational Approach to Weakly Supervised Document-Level Multi-Aspect Sentiment Classification

Ziqian Zeng, Wenxuan Zhou+2 more|arXiv (Cornell University)|Apr 10, 2019

Sentiment Analysis and Opinion Mining参考文献 42被引用数 4

ひとこと要約

本稿では、依存構文解析と単純な規則を用いて抽出されたターゲット-意見語のペアを監視信号として用いる、弱教師ありドキュメントレベル多様相感情分析（DMSC）の変分的手法を提案する。感情極性を潜在変数としてモデル化し、変分下界を最適化することで、感情極性分類器と意見語予測器を同時に学習する。これにより、1つの多様相あたり数100件のラベル付き例を用いた教師あり手法と同等の性能を達成しつつ、多様相レベルのアノテーションを不要にした。

ABSTRACT

In this paper, we propose a variational approach to weakly supervised document-level multi-aspect sentiment classification. Instead of using user-generated ratings or annotations provided by domain experts, we use target-opinion word pairs as "supervision." These word pairs can be extracted by using dependency parsers and simple rules. Our objective is to predict an opinion word given a target word while our ultimate goal is to learn a sentiment polarity classifier to predict the sentiment polarity of each aspect given a document. By introducing a latent variable, i.e., the sentiment polarity, to the objective function, we can inject the sentiment polarity classifier to the objective via the variational lower bound. We can learn a sentiment polarity classifier by optimizing the lower bound. We show that our method can outperform weakly supervised baselines on TripAdvisor and BeerAdvocate datasets and can be comparable to the state-of-the-art supervised method with hundreds of labels per aspect.

研究の動機と目的

• ドキュメントレベル多様相感情分析（DMSC）における高いアノテーションコストの課題に対処し、高価な多様相レベルのアノテーションに依存するのを減らす。
• 完全なコーパスを再トレーニングせずに、希少な多様相のインクリメンタル学習を可能にし、先行する弱教師あり手法の制限を克服する。
• 変分推論を用いて感情極性分類を弱教師あり意見語予測目的に統合する柔軟なフレームワークを開発する。
• 依存構文解析で抽出されたターゲット-意見語ペアが、正確な感情分類器の学習に有効な監視信号として機能することを示す。
• 完全教師あり手法に近い性能を達成しつつ、ターゲット-意見語ペアからの弱教師あり監視のみを用いる。

提案手法

• 感情極性を表す潜在変数を導入し、変分推論を用いて意見語予測と感情分類を結びつける。
• ターゲット語と感情極性が与えられたもとでの意見語予測のための変分下界を導出する。
• モデルは2つのコンponentから構成される：ドキュメントから極性を予測する感情極性分類器、ターゲットと予測された極性を入力として意見語を予測する意見語分類器。
• ターゲット-意見語ペアは依存構文解析と単純な文法的規則を用いて抽出され、ラベル付きペアや外部辞書の必要がない。
• ドキュメント表現に深層ニューラルネットワークアーキテクチャを統合可能であり、bag-of-words仮定を超えて語順や長距離依存関係をモデル化できる。
• 確率的勾配降下法を用いてエンドツーエンドで目的関数を最適化し、変分下界を学習目的関数として用いる。

実験結果

リサーチクエスチョン

• RQ1 ルールベースの依存構文解析で抽出されたターゲット-意見語ペアは、ドキュメントレベル多様相感情分析における有効な弱教師あり監視信号として機能するか？
• RQ2 感情極性を潜在変数としてモデル化する変分フレームワークは、一般化性能の向上と感情・意見語予測の共同学習を可能にするか？
• RQ3 提案手法は、教師ありベースラインと同等の性能を達成しつつ、アノテーションの負担を軽減できるか？
• RQ4 モデルは、全コーパスを再トレーニングせずに、希少な多様相のパラメータをインクリメンタルに学習できるか？
• RQ5 全体のドキュメント極性に依存する既存の弱教師ありアプローチと比較して、本手法はどのように性能を発揮するか？

主な発見

• 提案手法は、トリバーティおよびBeerAdvocateの2つのデータセットにおいて、既存の弱教師ありベースラインをF1スコアの観点で上回った。
• 1多様相あたり数100件のラベル付き例を必要とする最先端の教師あり手法と同等の性能を達成したが、本手法はターゲット-意見語ペアからの弱教師あり監視のみを用いた。
• 本手法は、全データセットを再トレーニングせずに新しい多様相の学習をインクリメンタルに可能にし、先行する弱教師あり手法の主な制限を克服した。
• 単純な規則を用いた依存構文解析によるターゲット-意見語ペア抽出が、効果的な感情分類器の学習に十分な監視信号を提供した。
• 変分フレームワークは感情極性予測を意見語予測目的に効果的に統合し、全体の分類性能を向上させた。
• 変分下界が学習プロセスを正則化するため、ノイズや不完全な監視に頼る場合でも、本手法は頑健な性能を示した。