[論文レビュー] Ensemble of Generative and Discriminative Techniques for Sentiment Analysis of Movie Reviews

Grégoire Mesnil, Tomáš Mikolov+2 more|arXiv (Cornell University)|Dec 17, 2014

Sentiment Analysis and Opinion Mining参考文献 7被引用数 95

ひとこと要約

本稿では、生成的言語モデル、文埋め込み、再重み付けされたbag-of-words特徴を組み合わせたアンサンブルモデルを提案する。分類器として独立したポジティブおよびネガティブなn-gram言語モデルからの尤度比を、NB-SVMや文ベクトルといった判別的モデルと統合することで、IMDBデータセット上で92.57%という新たなSOTA精度を達成した。完全なコードは再現可能性および拡張のため、公開されている。

ABSTRACT

Sentiment analysis is a common task in natural language processing that aims to detect polarity of a text document (typically a consumer review). In the simplest settings, we discriminate only between positive and negative sentiment, turning the task into a standard binary classification problem. We compare several ma- chine learning approaches to this problem, and combine them to achieve the best possible results. We show how to use for this task the standard generative lan- guage models, which are slightly complementary to the state of the art techniques. We achieve strong results on a well-known dataset of IMDB movie reviews. Our results are easily reproducible, as we publish also the code needed to repeat the experiments. This should simplify further advance of the state of the art, as other researchers can combine their techniques with ours with little effort.

研究の動機と目的

• IMDB映画レビューデータセットにおける感情分類の性能を、多様な機械学習手法のアンサンブルを用いて向上させること。
• 生成的言語モデルが、判別的モデルに比べて軽視されがちなが、感情分析に有意義な貢献をできるかどうかを調査すること。
• 特に生成的アプローチを含む補完的なモデルを組み合わせることで、個々のモデルよりも優れた性能が得られることを示すこと。
• コードを公開することで、将来の研究者が新しいモデルをアンサンブルに容易に統合できる完全再現可能なフレームワークを提供すること。

提案手法

• SRILMツールキットを用いてKneser-Neyスムージングを適用し、ポジティブレビューとネガティブレビューのそれぞれに対して、別々のn-gram言語モデルを学習する。
• テストレビューのポジティブおよびネガティブ言語モデル下での尤度比を、ベイズの定理を用いて事前確率を組み込む形で、判別的特徴として計算する。
• スキップグラム＋ネガティブサンプリングで学習された文埋め込み（文ベクトル）を用い、レビュー全体を固定長の密ベクトルとして表現する。
• tf-idfの再重み付けを施したNB-SVMを用いたリウェイトド・バッグ・オブ・ワーズアプローチを適用し、従来のバッグ・オブ・ワーズ表現を強化する。
• 3つのモデル（生成的尤度比、文ベクトル、NB-SVM）の予測結果を、学習された重みを用いた線形アンサンブルで統合する。
• グリッドサーチやその他の手法を用いてアンサンブル重みを最適化し、テスト精度を最大化する。すべてのモデルは同一のプロトコルに従って訓練および評価される。

実験結果

リサーチクエスチョン

• RQ1 ポジティブおよびネガティブレビューに別々に学習された生成的言語モデルは、感情分類のための有用な判別的シグナルを提供できるか？
• RQ2 IMDB感情分類データセットにおいて、生成的モデルの性能は、NB-SVM や文ベクトルといったSOTAの判別的モデルと比べてどの程度か？
• RQ3 特に異なるインダクティブバイアスを持つ多様なモデルは、アンサンブル設定においてどの程度補い合えるか？
• RQ4 生成的モデルを含む複数のモデルを組み合わせることで、最良の個別モデルよりも顕著な性能向上が得られるか？

主な発見

• RNN言語モデル、文ベクトル、およびトライグラム特徴を用いたNB-SVMのアンサンブルは、IMDBデータセットで92.57%という新たなSOTA精度を達成した。
• 個々の生成的モデル（n-gram言語モデル）は最も成績が低く、86.5%の精度であったが、アンサンブルにおいても有意義な貢献をした。
• NB-SVMトライグラムモデルは単体で91.87%の精度を達成し、個々のモデルの中で最高であったが、アンサンブルには及ばなかった。
• 文ベクトルとNB-SVMトライグラムの組み合わせは92.39%の精度を達成し、これら2つのモデルの間で強い相乗効果が見られた。
• 除去解析の結果、生成的モデルは個別に最も貢献度が低かったが、アンサンブルへの組み込みにより性能向上が見られ、特徴学習の補完性が示された。
• アンサンブルは、個々のモデルが誤分類するような、繊細な感情や皮肉を含むレビューも正しく分類できており、ニュアンスのある感情に対して高いロバスト性を示した。