[論文レビュー] Distributed Representations of Sentences and Documents

Quoc V. Le, Tomáš Mikolov|arXiv (Cornell University)|May 16, 2014

Topic Modeling参考文献 41被引用数 5,112

ひとこと要約

この論文は、周囲の単語を予測することによって変長テキスト（文、段落、文書）を固定長の密 representations に学習するParagraph Vector (PV) を導入し、Bag-of-W words に比べて改善を実現し、感情分析とテキスト分類で最先端の結果を達成します。二つのモデル（PV-DM と PV-DBOW）とその組み合わせを提示し、感情分析と情報検索タスクにおける実験を行います。

ABSTRACT

Many machine learning algorithms require the input to be represented as a fixed-length feature vector. When it comes to texts, one of the most common fixed-length features is bag-of-words. Despite their popularity, bag-of-words features have two major weaknesses: they lose the ordering of the words and they also ignore semantics of the words. For example, "powerful," "strong" and "Paris" are equally distant. In this paper, we propose Paragraph Vector, an unsupervised algorithm that learns fixed-length feature representations from variable-length pieces of texts, such as sentences, paragraphs, and documents. Our algorithm represents each document by a dense vector which is trained to predict words in the document. Its construction gives our algorithm the potential to overcome the weaknesses of bag-of-words models. Empirical results show that Paragraph Vectors outperform bag-of-words models as well as other techniques for text representations. Finally, we achieve new state-of-the-art results on several text classification and sentiment analysis tasks.

研究の動機と目的

• Bag-of-words 表現が語順と意味論を無視する限界を克服すること。
• 可変長テキスト（文から文書）に対する教師なしの固定長ベクトル表現を開発すること。
• 二つのパラグラフベクター枠組み（PV-DM と PV-DBOW）を導入し、それらの組み合わせを検討すること。
• 感情分析とテキスト分類での改善を示し、情報検索への適用可能性を示すこと。

提案手法

• 二つの主なモデル：PV-DM（Distributed Memory）はパラグラフベクトルを文脈語ベクトルと結合して次の語を予測する；PV-DBOW（Distributed Bag of Words）は文パラグラフベクトルから語を予測するが文脈語には依存しない。
• パラグラフベクトル D（段落用）と W（語用）を、バックプロパゲーションを伴う確率的勾配降下法で学習する；予測はソフトマックスを使用する（多くは Huffman 木による階層ソフトマックスを用いる）。
• 新しい段落の推論では W と U,b を固定し、新しい段落ベクトル D を勾配降下法で最適化する。
• モデルは PV-DM と PV-DBOW を組み合わせ（結合）て、タスク全般で堅牢な性能を得る。
• 二段階の学習： (1) 見られた段落で W、U,b、D を学習する。 (2) テスト時に新しいテキストの段落ベクトル D を推定するため、他のパラメータを固定して D を更新する。
• 実験は PV を BoW、n-gram、より複雑なモデルと比較し、顕著な改善を示す。

実験結果

リサーチクエスチョン

• RQ1 可変長テキストの意味論と語順をパラグラフレベルのベクトルで捉えられるか？
• RQ2 PV-DM と PV-DBOW は感情分析と情報検索において従来の bag-of-words や語ベクトル平均化を上回るか？
• RQ3 PV-DM と PV-DBOW の組み合わせはタスク間の性能にどのような影響を与えるか？
• RQ4 長文（例: IMDB）における PV の性能は文のみのモデルと比較してどうか？

主な発見

• PV は感情分析および分類タスクで bag-of-words や他のベースラインを上回る。
• Stanford Sentiment Treebank では、Paragraph Vector は粗い粒度で 12.2% のエラー、細粒度で 51.3% のエラーを達成し、再帰型モデルや bag-of-words の variants を上回る。
• IMDB では Paragraph Vector が 7.42% のエラーを達成し、以前の最良結果を上回り、長文に対して強力な性能を示す。
• PV-DM は概して PV-DBOW より優れており、PV-DM と PV-DBOW の結合はタスクを跨いでより一貫した結果を生む。
• 学習コストは高いが、テスト時には並列化をサポートする；ウィンドウサイズ（5–12）は有用なハイパーパラメータ範囲。
• 情報検索タスクでは Paragraph Vector が 3.82% のエラーを達成し、bag-of-words および n-gram ベースラインを大幅に上回る。
• 全タスクを通じて、PV-DM と PV-DBOW の組み合わせを推奨する。