[論文レビュー] Learning Document Embeddings by Predicting N-grams for Sentiment Classification of Long Movie Reviews

Bofang Li, Tao Liu+3 more|arXiv (Cornell University)|Dec 27, 2015

Topic Modeling参考文献 16被引用数 12

ひとこと要約

本稿では、文書ベクトルが単語とn-gramの両方を予測するように訓練されることで、長文の映画レビューにおける感情分類を向上させるDV-ngramという文書埋め込みモデルを提案する。このモデルは意味的意味と語順を保持し、先行する深層学習およびbag-of-ngram手法を上回り、IMDBデータセットにおいてNBSVMおよびRNN-LMとアンサンブルした際、92.91%という最先端の正確度を達成する。

ABSTRACT

Despite the loss of semantic information, bag-of-ngram based methods still achieve state-of-the-art results for tasks such as sentiment classification of long movie reviews. Many document embeddings methods have been proposed to capture semantics, but they still can't outperform bag-of-ngram based methods on this task. In this paper, we modify the architecture of the recently proposed Paragraph Vector, allowing it to learn document vectors by predicting not only words, but n-gram features as well. Our model is able to capture both semantics and word order in documents while keeping the expressive power of learned vectors. Experimental results on IMDB movie review dataset shows that our model outperforms previous deep learning models and bag-of-ngram based models due to the above advantages. More robust results are also obtained when our model is combined with other models. The source code of our model will be also published together with this paper.

研究の動機と目的

• 長文レビューの感情分類において、既存の文書埋め込みモデルが意味的意味と語順を捉える能力に限界を示す問題に対処すること。
• 語ベクトル予測から文書ベクトル学習を分離することで、文書表現の表現力を向上させること。
• n-gram特徴を文書ベクトル学習に統合することで、順序情報は保持しつつ意味的表現を維持すること。
• IMDB映画レビュー感情分類ベンチマークで最先端の性能を達成すること。
• 特徴結合およびアンサンブル学習を通じて、モデルの頑健性と一般化能力を示すこと。

提案手法

• モデルは、語ベクトルの共同学習を削除し、文書ベクトルを個々の単語とn-gram特徴の両方を予測するように訓練することで、Paragraph Vectorを変更する。
• 文書ベクトルが自らのコンテンツを予測することで学習される単純化されたアーキテクチャを採用し、完全な表現能力を確保する。
• n-gram特徴は訓練中に追加のターゲットとして組み込まれ、局所的な順序的パターンを捉えることができる。
• CBOWに類似した予測的目的関数を用い、文書ベクトルを主な出力とする。
• ラベルなしデータを用いて事前学習することで、微調整の前に一般化性能を向上させる。
• NB-BO-ngramベクトルとの特徴結合およびRNN-LMおよびNBSVMとのアンサンブル学習により、モデル性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 単語とn-gramの両方を予測する文書埋め込みモデルは、長文レビューの感情分類において標準的なParagraph Vectorを上回ることができるか？
• RQ2 語ベクトル予測から文書ベクトル学習を分離することで、文書表現の表現力が向上するか？
• RQ3 n-gram予測は、長文文書埋め込みにおける語順と順序的文脈を保持するのに役立つのか？
• RQ4 提案手法は、IMDB感情分類ベンチマークにおいて、最先端のbag-of-ngramおよび深層学習モデルと比較してどうなるか？
• RQ5 他のモデルやラベルなしデータとの統合により、モデルの性能をさらに向上させることができるか？

主な発見

• DV-ngramモデルは、IMDBデータセットにおいて単一モデルで91.75%のテスト正確度を達成し、以前の深層学習モデルおよびbag-of-ngramベースラインを上回った。
• NB-BO-trigram特徴と組み合わせた場合、92.74%の正確度を達成し、最高の報告済み特徴結合モデル（seq2-CNNの92.33%）を上回った。
• 事前学習段階でラベルなしデータを活用した場合、単体で92.14%の正確度を達成し、頑健性と一般化能力を示した。
• アンサンブル設定では、DV-ngramをRNN-LMおよびNBSVMと組み合わせることで、93.05%という新しい最先端の正確度を達成し、以前の最高アンサンブル（92.89%）を上回った。
• 元のParagraph Vector（88.73%）および簡素化されたPVバージョン（0.87%の向上）を上回ったことから、n-gram予測の有効性が裏付けられた。
• ラベルなしデータを事前学習に使用しなくても、モデルの性能は一貫して高く維持されたことから、感情分類に強いインダクティブバイアスを有することが示された。