[論文レビュー] Semi-supervised Target-level Sentiment Analysis via Variational Autoencoder.

Weidi Xu, Ying Tan|arXiv (Cornell University)|Oct 24, 2018

Sentiment Analysis and Opinion Mining参考文献 21被引用数 2

ひとこと要約

本稿では、変分オートエンコーダーに基づく変換器（VAET）を用いた半教師ありアプローチを提案し、アスペクト・ターム・センチメント分析（ATSA）のための潜在表現を、アスペクト固有のセンチメントと語彙的文脈に分離することで、ラベルなしデータのセンチメント予測を可能にする。この手法は4つの分類器で性能向上を達成し、SemEval 2014 タスク4で最先端の結果を達成した。

ABSTRACT

Aspect-term sentiment analysis (ATSA) is a longstanding challenge in natural language understanding. It requires fine-grained semantical reasoning about a target entity appeared in the text. As manual annotation over the aspects is laborious and time-consuming, the amount of labeled data is limited for supervised learning. This paper proposes a semi-supervised method for the ATSA problem by using the Variational Autoencoder based on Transformer (VAET), which models the latent distribution via variational inference. By disentangling the latent representation into the aspect-specific sentiment and the lexical context, our method induces the underlying sentiment prediction for the unlabeled data, which then benefits the ATSA classifier. Our method is classifier agnostic, i.e., the classifier is an independent module and various advanced supervised models can be integrated. Experimental results are obtained on the SemEval 2014 task 4 and show that our method is effective with four classical classifiers. The proposed method outperforms two general semisupervised methods and achieves state-of-the-art performance.

研究の動機と目的

• アスペクト・ターム・センチメント分析（ATSA）におけるラベル付きデータの不足という課題に取り組むこと。ATSAは、ターゲットエンティティごとの微細なセンチメント推論を必要とする。
• ラベルなしデータを活用することで、大量の手動アノテーションを要せずATSAの性能を向上させる半教師あり手法を開発すること。
• さまざまな高度な教師ありモデルと統合可能な、分類器に依存しないフレームワークを設計すること。
• 分離された潜在空間における変分推論を通じて、ラベルなしデータの潜在的センチメント分布をモデル化すること。

提案手法

• 本手法は、変分推論を用いて入力テキストとアスペクト・ターゲットの同時分布をモデル化する、変換器に基づく変分オートエンコーダー（VAET）を採用する。
• 潜在表現を2つのコンponentsに分離する：1つはアスペクト固有のセンチメントを捉え、もう1つは文の語彙的文脈を符号化する。
• 分離された潜在変数を用いて、ラベルなしデータのセンチメント予測を事後分布推論により行う。
• ラベルなしデータの予測されたセンチメントラベルを、下流のATSA分類器の事前学習または微調整に活用する。
• フレームワークは分類器に依存せず、BERT、BiLSTM、CNNなどの複数の教師ありモデルと統合可能である。
• 生成的および識別的目的を最適化するため、再構成損失とセンチメント予測損失の組み合わせを用いて、エンド・トゥ・エンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが限られる状況下で、変分推論に基づく半教師あり手法がATSAの性能向上に寄与するか？
• RQ2 分離された潜在表現が、ATSAにおいてアスペクト固有のセンチメントと文脈的情報をどれほど効果的に捉えられるか？
• RQ3 提案手法が、ATSA設定におけるさまざまな分類器アーキテクチャに一般化可能か？
• RQ4 提案手法は、ATSAベンチマークにおいて、一般的な半教師あり学習ベースラインと比較してどのように性能を発揮するか？

主な発見

• 提案手法は、アスペクト・ターム・センチメント分析のSemEval 2014 タスク4ベンチマークで最先端の性能を達成した。
• 2つの一般的な半教師あり学習手法よりも優れた効果を示し、ラベルなしデータの活用能力に優れていることを実証した。
• 4つの古典的分類器においても性能向上を達成し、プラグインモジュールとしての適合性と有効性を確認した。
• 分離された潜在表現により、ラベルなしインスタンスの正確なセンチメント予測が可能となり、下流分類器の性能向上に寄与した。
• 分類器に依存しない設計により、さまざまな高度なモデルとシームレスに統合可能であり、実用的利点が向上した。
• モデルの性能向上は、潜在空間におけるセンチメントと文脈の効果的な分離に起因し、より良い一般化性能を実現した。