[論文レビュー] Document Neural Autoregressive Distribution Estimation

Stanislas Lauly, Yin Zheng+2 more|arXiv (Cornell University)|Mar 18, 2016

Topic Modeling参考文献 16被引用数 8

ひとこと要約

本稿では、bag-of-words表現を用いて文書レベルの分布をモデル化するため、Neural Autoregressive Distribution Estimationを適応させた、フィードフォワードニューラルネットワークモデルであるDocument NADE（DocNADE）を提案する。学習済みの単語埋め込みを用いた自己回帰的確率モデリングにより、正確かつ効率的な確率推定が可能となり、深層バージョンはパープレキシティおよび文書検索の面で最先端のトピックモデルを上回る性能を示す。

ABSTRACT

We present an approach based on feed-forward neural networks for learning the distribution of textual documents. This approach is inspired by the Neural Autoregressive Distribution Estimator(NADE) model, which has been shown to be a good estimator of the distribution of discrete-valued igh-dimensional vectors. In this paper, we present how NADE can successfully be adapted to the case of textual data, retaining from NADE the property that sampling or computing the probability of observations can be done exactly and efficiently. The approach can also be used to learn deep representations of documents that are competitive to those learned by the alternative topic modeling approaches. Finally, we describe how the approach can be combined with a regular neural network N-gram model and substantially improve its performance, by making its learned representation sensitive to the larger, document-specific context.

研究の動機と目的

• 高次元かつ離散的な文書データを、取り扱いやすく正確な確率推定が可能な形でモデル化する課題に対処すること。
• NADE（Neural Autoregressive Distribution Estimator）をbag-of-words文書表現に拡張し、正確な推論を維持すること。
• 文書内の意味的構造を捉える意味的でトピックに敏感な単語埋め込みを学習すること。
• DocNADEをニューラル言語モデルと統合し、文脈に配慮した認識能力と言語モデリングの性能を向上させること。
• DocNADEが生成モデルおよび文書表現タスクにおける特徴抽出器として有効であるかを評価すること。

提案手法

• 固定順序で語の出現確率をモデル化することで、NADEの自己回帰フレームワークを文書レベルのデータに適応させ、条件付き確率を計算するためのフィードフォワードニューラルネットワークを用いる。
• 単語埋め込みを入力表現として採用し、各単語を意味的類似性を捉える密なベクトルにマッピングする。これらはモデル全体と同時に学習される。
• 以前に観測された単語に基づいて隠れ表現を計算するための単一の隠れ層を備えたフィードフォワードネットワークを用い、シグモイド活性化関数と学習可能な重みを採用する。
• 確率の連鎖則を適用し、語の集合における同時分布を条件付き確率の積に分解する：$ p({\bf v}) = \prod_{i=1}^{D} p(v_i|{\bf v}_{<i}) $。
• 複数のNADE層をスタックすることで、トピックの階層的表現を学習する、DeepDocNADEを導入する。
• DocNADEとフィードフォワードニューラルネットワーク言語モデル（FFN-LM）を統合し、DocNADE-LMを構築する。ここでDocNADEは次単語予測のための文書レベルの文脈を提供する。

実験結果

リサーチクエスチョン

• RQ1 NADEは、bag-of-words表現を用いて文書レベルの分布を正確かつ効率的な確率計算を維持したまま効果的にモデル化できるか？
• RQ2 NADEに基づく深層アーキテクチャは、パープレキシティおよび文書検索性能の面で、既存のトピックモデルと比較して優れているか？
• RQ3 DocNADEが学習する文書表現は、文脈に配慮したトピック的表現を提供することで、ニューラル言語モデルの性能を向上させられるか？
• RQ4 DocNADEが学習する単語埋め込みは、単なる文法的性質ではなく、意味的およびトピック的構造を捉えているか？
• RQ5 DocNADE-LMを用いた場合、複数文の文脈セグメントのサイズを増加させると、言語モデルのパープレキシティにどのような影響を与えるか？

主な発見

• DeepDocNADEは、テストセットのパープレキシティにおいて最先端の生成的文書モデルを上回り、優れたモデル化能力を示した。
• 特徴抽出器として用いた場合、DocNADEは文書検索タスクで競争力のある性能を示し、ベースラインのトピックモデルと同等またはそれを上回った。
• DocNADE-LMモデルは、5つのグループ化された文を用いることでテストパープレキシティを109.22まで低下させ、ベースラインのFFNモデル（119.78）およびHLBLモデル（112.1）を著しく上回った。
• DocNADE部が学習する単語埋め込みは、政治的・文化的関係（例：'israel'は 'palestinian'、'weapons'、'diplomats'に近い）に焦点を当てている一方、言語モデル部はより広範な意味的関係（例：'countries'、'nations'、'russia'）を学習している。
• DocNADE-LMにおいて、グループ化された文の数を1から5に増加させることで、パープレキシティは単調に減少し、長距離の文脈をよりよくモデル化できていることが示された。
• 定性的な分析から、DocNADEと言語モデル部が異なるが補完的な意味的性質を学習していることが確認され、モデルがトピック的および文法的情報を効果的に分離できていることが裏付けられた。