[論文レビュー] Bayesian Paragraph Vectors

Geng Ji, Robert Bamler+2 more|arXiv (Cornell University)|Nov 10, 2017

Topic Modeling参考文献 17被引用数 4

ひとこと要約

本稿では、不確実性を定量化するためのベイジアン推論を組み込んだ確率的生成モデルであるベイジアンパラグラフベクトル（BPV）を提案する。パラグラフベクトルを後部分布を持つ確率的変数としてモデル化することで、文書長が増加するにつれてエントロピーが低下することを示し、不確実性を捉えるための変分推論を用いることで、従来のMAP推定に比べて感情分析および類義文検出タスクでの性能が向上することを示している。

ABSTRACT

Word2vec (Mikolov et al., 2013) has proven to be successful in natural language processing by capturing the semantic relationships between different words. Built on top of single-word embeddings, paragraph vectors (Le and Mikolov, 2014) find fixed-length representations for pieces of text with arbitrary lengths, such as documents, paragraphs, and sentences. In this work, we propose a novel interpretation for neural-network-based paragraph vectors by developing an unsupervised generative model whose maximum likelihood solution corresponds to traditional paragraph vectors. This probabilistic formulation allows us to go beyond point estimates of parameters and to perform Bayesian posterior inference. We find that the entropy of paragraph vectors decreases with the length of documents, and that information about posterior uncertainty improves performance in supervised learning tasks such as sentiment analysis and paraphrase detection.

研究の動機と目的

• テキスト埋め込みにおける原理的で不確実性の定量化を可能にするパラグラフベクトルのベイジアン解釈を開発すること。
• 特に短い文書では不確実性が高いため、パラグラフベクトルにおける点推定の限界を解消すること。
• 特徴表現に後部不確実性を組み込むことで、下流の教師あり学習の性能を向上させること。
• パラグラフベクトルの不確実性（エントロピー）が文書長に応じて減少することを検証すること。
• パラグラフベクトル埋め込みの文脈において、変分推論とMAP推定を比較すること。

提案手法

• Barkan（2017）が提唱したベイジアンスキップグラムモデルを拡張し、ガウス事前分布を用いた文書固有のパラグラフベクトルを潜在変数として導入する。
• 文書内における単語ペairの尤度を、単語埋め込みと文脈ベクトルの内積にパラグラフベクトルを追加したもののシグモイド関数としてモデル化する。
• 変分推論（VI）を用いてパラグラフベクトルの後部分布を近似し、平均と分散の両方を捉える。
• 大規模コーパスにスケーリングするため、減少する学習率とネガティブサンプリングを用いた確率的最適化を実装する。
• 局所的な単語共起に基づいてポジティブペアを構築し、単語頻度に基づくノイズ分布を用いてネガティブペアを生成する。
• 下流分類の入力特徴として、パラグラフベクトルの変分平均と標準偏差の連結を用いる。

実験結果

リサーチクエスチョン

• RQ1 後部分布を持つ確率的変数としてパラグラフベクトルをモデル化することで、点推定に比べてより頑健な表現が得られるか？
• RQ2 パラグラフベクトルの不確実性（エントロピー）は文書長にどのように依存するか？
• RQ3 後部不確実性を組み込むことで、感情分析や類義文検出といった教師ありNLPタスクの性能が向上するか？
• RQ4 MAP、VI、HMCの異なる推論手法は、下流タスクの精度においてどのように比較されるか？
• RQ5 パラグラフベクトルの生成的確率的定式化は、短いテキストにおける不確実性に関する経験的直感と整合性を持つか？

主な発見

• パラグラフベクトルのエントロピーは文書長が増加するにつれて低下し、より長いテキストではより信頼性の高い埋め込みが得られることを確認した。
• 感情分析および類義文検出タスクの両方で、変分推論（VI）が最大事後確率（MAP）推定を上回った。
• IMDBデータセットでは、VIが感情分析で87.0％のテスト精度を達成したのに対し、MAPは86.9％であった。
• MSR類義文コーパスでは、VIが類義文検出で71.0％の精度を示したのに対し、MAPは70.0％であった。
• 短い文書ではパラグラフベクトルの後部分散が高くなることが確認され、モデルが不確実性を適切に捉えていることが裏付けられた。
• ハミルトニアンモンテカルロ（HMC）推論はVIより性能が悪く、サンプリング中に固定されたネガティブ例による過学習が原因であると推測された。