[論文レビュー] Semisupervised Autoencoder for Sentiment Analysis

Shuangfei Zhai, Zhongfei Mark Zhang|arXiv (Cornell University)|Dec 14, 2015

Topic Modeling参考文献 16被引用数 49

ひとこと要約

本稿では、線形分類器の重みを用いて再構成をタスク関連特徴に導くことで、Bregman散発を介してラベル情報をオートエンコーダーの損失関数に統合する半教師ありオートエンコーダーを提案する。この手法により、極性を示す語に重点を置き、頻度は高いが関係のない語への依存を低減する、判別性が高く次元が低い表現を学習することで、ベースラインモデルに比べてセンチメント分類の精度が顕著に向上する。

ABSTRACT

In this paper, we investigate the usage of autoencoders in modeling textual data. Traditional autoencoders suffer from at least two aspects: scalability with the high dimensionality of vocabulary size and dealing with task-irrelevant words. We address this problem by introducing supervision via the loss function of autoencoders. In particular, we first train a linear classifier on the labeled data, then define a loss for the autoencoder with the weights learned from the linear classifier. To reduce the bias brought by one single classifier, we define a posterior probability distribution on the weights of the classifier, and derive the marginalized loss of the autoencoder with Laplace approximation. We show that our choice of loss function can be rationalized from the perspective of Bregman Divergence, which justifies the soundness of our model. We evaluate the effectiveness of our model on six sentiment analysis datasets, and show that our model significantly outperforms all the competing methods with respect to classification accuracy. We also show that our model is able to take advantage of unlabeled dataset and get improved performance. We further show that our model successfully learns highly discriminative feature maps, which explains its superior performance.

研究の動機と目的

• 従来のオートエンコーダーが、高次元の語彙とタスクに無関係な語によって性能が制限されるという問題に取り組むこと。
• オートエンコーダーの再構成損失に直接ラベル情報を組み込むことで表現学習を改善し、センチメント分類に適した特徴をより判別的にする。
• 単一の線形分類器によるバイアスを軽減するため、ラプラス近似を用いて分類器重みを事後分布としてモデル化すること。
• Bregman散発の理論的枠組みを用いて提案された損失関数を正当化し、妥当性と解釈可能性を保証すること。
• ラベル付きおよびラベルなしデータを効果的に活用できることを実証し、手動による特徴工学を必要とせずに性能を向上させること。

提案手法

• ラベル付きBag-of-Words（BoW）表現上で線形分類器を学習し、センチメントと相関する語の重みを特定する。
• 分類器の重みを用いて、センチメント関連語の再構成を優先するBregman散発に基づくオートエンコーダー損失関数を導出する。
• 分類器重みにベイズ的事前分布を導入し、ラプラス近似を適用して重みの不確実性を周辺化し、損失関数のバイアスを低減する。
• 分類器重みの事後分布の下での期待再構成誤差を反映するように、オートエンコーダーの周辺化損失関数を構築する。
• 導出された損失関数を用いてオートエンコーダーを訓練し、極性の兆候を強調するコンactかつ判別性の高い表現を学習可能にする。
• 学習された隠れ層を、後続のセンチメント分類のための最終文書表現として使用する。

実験結果

リサーチクエスチョン

• RQ1 オートエンコーダーの損失関数にラベル情報を組み込むことで、センチメント分類のための表現品質が向上するか？
• RQ2 提案されたBregman散発に基づく損失関数は、標準的な再構成損失と比較して分類精度でどのように差をつけるか？
• RQ3 ラベル付きデータが限られている状況で、ラベルなしデータをどれだけ効果的に活用できるか？
• RQ4 無教師学習オートエンコーダーと比較して、本モデルはより判別性の高い特徴を学習するのか、特にセンチメント関連語に注目して。
• RQ5 初期の線形分類器の選択にどれほど感応するか、またベイズ的周辺化がその感度を軽減するか？

主な発見

• 提案モデルは、6つのセンチメント分析データセットにおいて、従来のオートエンコーダーやノイズ除去オートエンコーダー、BoWベースラインに比べて顕著に高い分類精度を達成した。
• ラベル付きおよびラベルなしデータの両方を学習に用いることで、一般化性能が向上し、半教師あり学習の有効性が裏付けられた。
• 学習済み特徴の可視化により、モデルが『amazing』、『worst』、『terrible』、『excellent』といったセンチメントを帯びた語に注目している一方で、『movie』 や『actor』といった中立的または頻出語は軽視していることが明らかになった。
• 分類器重みの不確実性を周辺化するためのラプラス近似の使用により、単一の分類器を用いる場合に比べ、バイアスが低減され、より安定的かつ一般化可能な表現が得られた。
• Bregman散発を用いた理論的正当化により、損失関数が情報理論的再構成の原則と整合しており、妥当性が保証された。
• MTCおよび再帰的オートエンコーダー手法と比較して、構文解析や多様体不変性の仮定を必要としない文全体の処理においても優れた性能を発揮した。