[論文レビュー] Neural Variational Inference for Text Processing

Yishu Miao, Lei Yu+1 more|arXiv (Cornell University)|Nov 19, 2015

Topic Modeling被引用数 220

ひとこと要約

この論文は、テキスト生成モデルにおける潜在変数の事後分布を近似するために、推論ネットワークとして深層ニューラルネットワークを用いるニューラル変分推論フレームワークを提案する。再パラメータライゼーション勾配を適用することにより、再帰的勾配降下法を用いたエンド・ツー・エンドの訓練が可能となり、文書モデリング（NVDM）および質問応答（NASM）の両分野で、従来手法よりも低いパープレキシティおよび高い精度を達成し、最先端の性能を発揮した。

ABSTRACT

Recent advances in neural variational inference have spawned a renaissance in deep latent variable models. In this paper we introduce a generic variational inference framework for generative and conditional models of text. While traditional variational methods derive an analytic approximation for the intractable distributions over latent variables, here we construct an inference network conditioned on the discrete text input to provide the variational distribution. We validate this framework on two very different text modelling applications, generative document modelling and supervised question answering. Our neural variational document model combines a continuous stochastic document representation with a bag-of-words generative model and achieves the lowest reported perplexities on two standard test corpora. The neural answer selection model employs a stochastic representation layer within an attention mechanism to extract the semantics between a question and answer pair. On two question answering benchmarks this model exceeds all previous published benchmarks.

研究の動機と目的

• テキスト向けの複雑で非共役な深層潜在変数モデルにおけるベイズ推論の非可解性に対処すること。
• 解析的変分近似をニューラルネットワークに置き換えるスケーラブルで効率的な推論フレームワークを開発すること。
• 教師あり（文書モデリング）および教師なし（質問応答）のNLPタスクの両方で性能を向上させること。
• 確率的推論を用いて、文書および質問・回答ペairの連続的・分散表現を効果的に学習すること。
• このフレームワークが、異なるニューラルネットワークアーキテクチャおよびNLPタスクに一般化可能であることを示すこと。

提案手法

• 入力テキストに条件付けられた深層ニューラルネットワーク（推論ネットワーク）を用いて、潜在変数の真の事後分布を近似する。
• 再パラメータライゼーショントリックを適用することで、確率的潜在変数を介したバックプロパゲーションが可能となり、低分散推定値を用いた勾配ベース最適化が可能になる。
• 生成モデルは、周辺尤度の下界を最大化するための確率的勾配変分ベイズ（SGVB）目的関数により訓練される。
• 文書モデリングでは、NVDMがbag-of-words入力を潜在分布にマップするMLPエンコーダーと、単語を再構築するソフトマックスデコーダーを用いる。
• 質問応答では、NASMがLSTMと確率的アテンション機構を統合し、アテンション重みは潜在正規分布からサンプリングされる。
• すべてのモデルパラメータはバックプロパゲーションにより同時に訓練され、1回の更新あたり1つのモンテカルロサンプルで十分であり、GPUによる高速化が可能である。

実験結果

リサーチクエスチョン

• RQ1 ニューラル推論ネットワークは、テキスト生成モデルにおける複雑で非線形な事後分布を効果的に近似できるか？
• RQ2 潜在変数における再パラメータライズドな確率性の使用は、NLPタスクにおける学習安定性と性能を向上させるか？
• RQ3 このフレームワークは、教師なしの文書モデリングおよび教師ありの質問応答の両方で最先端の結果を達成できるか？
• RQ4 NASMにおける確率的アテンション機構は、決定論的アテンションと比較して、回答選択をどのように改善するか？
• RQ5 変分目的関数におけるKL正則化項は、小規模データセットにおける一般化性能をどの程度向上させるか？

主な発見

• NVDMは、20NewsGroupsおよびRCV1-v2データセットにおいて、文書モデリング分野で報告された最低のパープレキシティを達成し、従来手法を上回った。
• NASMモデルは、2つの質問応答データセットにおいて、すべての既存ベンチマークを上回り、回答選択の分野で優れた性能を示した。
• 確率的アテンションを備えたモデルは、より鋭く集中したアテンション分布を学習し、決定論的アテンションベースラインと比較して予測精度が向上した。
• 再パラメータライゼーショントリックとKL正則化のおかげで、勾配の分散が低く、学習プロセスは安定かつ効率的であった。
• フレームワークにより、最小限のアーキテクチャ制約で深層潜在モデルのエンド・ツー・エンド訓練が可能となり、さまざまなニューラルネットワークタイプに一般化できた。
• 推論ネットワークが複雑な事後分布をモデル化できる能力のおかげで、特に小規模な学習セットにおいて一般化性能が向上した。