[論文レビュー] Variational Semi-supervised Aspect-term Sentiment Analysis via Transformer

Xingyi Cheng, Weidi Xu+2 more|arXiv (Cornell University)|Oct 24, 2018

Sentiment Analysis and Opinion Mining被引用数 5

ひとこと要約

本稿では、アスペクト・トークン感情分析（ATSA）のための分類器に依存しない半教師ありフレームワークであるASVAETを提案する。この手法は、変動的自己符号化器（VAE）を用いて潜在空間における感情極性と語彙的文脈を分離する。ラベル付きおよびラベルなしデータ上で分類器とVAEを同時に学習することで、SemEval 2014の5つの分類器において一貫した性能向上を達成し、限られたラベル付きデータでも最大3.2%の向上を実現した。

ABSTRACT

Aspect-term sentiment analysis (ATSA) is a longstanding challenge in natural language understanding. It requires fine-grained semantical reasoning about a target entity appeared in the text. As manual annotation over the aspects is laborious and time-consuming, the amount of labeled data is limited for supervised learning. This paper proposes a semi-supervised method for the ATSA problem by using the Variational Autoencoder based on Transformer (VAET), which models the latent distribution via variational inference. By disentangling the latent representation into the aspect-specific sentiment and the lexical context, our method induces the underlying sentiment prediction for the unlabeled data, which then benefits the ATSA classifier. Our method is classifier agnostic, i.e., the classifier is an independent module and various advanced supervised models can be integrated. Experimental results are obtained on the SemEval 2014 task 4 and show that our method is effective with four classical classifiers. The proposed method outperforms two general semisupervised methods and achieves state-of-the-art performance.

研究の動機と目的

• アスペクト-感情ペairの手動アノテーションが人的に負担であるため、ラベル付きデータが限られるATSAにおける課題に対処すること。
• 大量のラベルなしテキストを効果的に活用してATSAの性能を向上させる半教師ありフレームワークを開発すること。
• 分類器と表現学習モジュールを分離することで、分類器に依存しない統合を可能にすること。
• 潜在表現をアスペクト固有の感情と語彙的文脈に分離し、一般化性能と解釈可能性を向上させること。
• ベンチマークATSAデータセット上で複数の最先端分類器に対して本手法の有効性を実証すること。

提案手法

• 入力文から文脈的表現を抽出するために変換器ベースのエンコーダを採用する。
• 感情極性（y）と語彙的文脈（z）の2つの独立成分をモデル化する、分離された潜在空間を持つ変動的自己符号化器（VAE）を用いる。
• yとzを条件とする2つの単方向言語モデルを用いて、入力文の再構成をVAEで行い、制御された文生成を可能にする。
• 分類器とVAEの間で単語埋め込みを共有しないことで分離を実現し、性能向上が半教師あり学習の効果によるものであることを保証する。
• 変動的推論を用いて、分離された潜在表現を活用してラベルなしデータの感情ラベルを暗黙的に予測する。
• MemNet、TC-LSTM、IAN、BILSTM-ATT-G、TNet-ASなどのさまざまな教師あり分類器にプラグインモジュールとして統合可能であり、分類器に依存しない性能向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付きデータしかない状況で、半教師ありVAEベースのフレームワークがATSAの性能を向上させられるか？
• RQ2 潜在空間における感情極性と語彙的文脈の分離が、より良い一般化性能と分類器性能の向上に寄与するか？
• RQ3 本手法は、ドメイン内事前学習や自己学習といった既存の半教師あり手法をどの程度上回るか？
• RQ4 性能向上はVAEが潜在構造をモデル化できる能力によるものか、それとも自己符号化器と共同最適化によるものか？
• RQ5 本フレームワークは、アーキテクチャの変更なしに多様な教師あり分類器に効果的に統合可能か？

主な発見

• ASVAETフレームワークは、SemEval 2014のRESTおよびLaptopデータセットにおいて、5つの異なる分類器で一貫した性能向上を達成し、ラベル付きデータ量に応じて1.5%〜3.2%の向上を示した。
• ラベル付きサンプルがたった500個の状況でも、ベースライン分類器比で3.2%の精度向上を達成し、優れたデータ効率性を示した。
• ドメイン内事前学習された単語埋め込みや自己学習ベースラインを上回ったことから、優れた半教師あり学習能力を有することが示された。
• 分類器と自己符号化器の間で単語埋め込みを共有すると性能が低下したため、向上は共有最適化ではなく、分離された表現学習によるものであると示唆された。
• t-SNE可視化により、潜在表現zが感情極性yに依存していないことが確認され、VAEによる分離が正当化された。
• 制御された文生成実験では、語彙的文脈を保持しつつ、異なる感情極性を持つ意味的に整合性のある文を生成でき、モデルがyを条件として適切に制御できていることが確認された。