[論文レビュー] A Tutorial on Deep Latent Variable Models of Natural Language

Yoon Kim, Sam Wiseman+1 more|arXiv (Cornell University)|Dec 17, 2018

Topic Modeling参考文献 222被引用数 33

ひとこと要約

このチュートリアルでは、変分推論を用いて確率的グラフィカルモデルとディープラーニングを統合することで、自然言語処理における深層潜在変数モデルを紹介する。拡張された変分推論と変分オートエンコーダーを、スケーラブルな学習のためのコア技術として提示し、これらのモデルが構造的で解釈可能かつ柔軟な言語生成および表現学習を可能にする仕組みを示す。

ABSTRACT

There has been much recent, exciting work on combining the complementary strengths of latent variable models and deep learning. Latent variable modeling makes it easy to explicitly specify model constraints through conditional independence properties, while deep learning makes it possible to parameterize these conditional likelihoods with powerful function approximators. While these "deep latent variable" models provide a rich, flexible framework for modeling many real-world phenomena, difficulties exist: deep parameterizations of conditional likelihoods usually make posterior inference intractable, and latent variable objectives often complicate backpropagation by introducing points of non-differentiability. This tutorial explores these issues in depth through the lens of variational inference.

研究の動機と目的

• 確率的グラフィカルモデルとディープラーニングを統合するNLPにおける深層潜在変数モデルの統一的導入を提供すること。
• 変分推論が、計算不能な推論を伴うモデルにおけるスケーラブルな事後分布近似を可能にする仕組みを説明すること。
• 推論ネットワーク（拡張推論）の使用により、深層生成モデルの効率的学習を実現すること。
• NLPにおける深層潜在変数モデルの主な応用、特にテキスト生成、表現学習、構造的モデリングを調査すること。
• 潜在変数がニューラルモデルにおける誘導的バイアスの注入と構造的制約の強制に果たす役割を強調すること。

提案手法

• 観測されたテキストと潜在変数の同時分布を表現するために、有向グラフィカルモデル（DGMs）を用いる。
• 計算不能な潜在変数の事後分布を近似するために、変分推論を適用する。
• 観測値から事後分布のパラメータを出力する深層ニューラルネットワーク（推論ネットワーク）を用いて、拡張推論を実装する。
• 確率的勾配降下法を用いて、対数周辺尤度の下界（ELBO）を最大化する。
• 再パラメータライゼーション勾配を用いて、確率的潜在変数を介したバックプロパゲーションを可能にする。
• ドロップアウトと潜在変数モデリングの関係をレビューし、ドロップアウトが変分目的を最適化していることの解釈を示す。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークと潜在変数モデルをどのように組み合わせることで、NLPにおける解釈可能性と一般化性能を向上させられるか？
• RQ2 深層潜在変数モデルにおける事後分布推論の主な課題は何か、そしてそれらはどのように解決できるか？
• RQ3 どのような点で、深層潜在変数モデルはトランスフォーマーのような決定的モデルを上回る性能を示すのか？
• RQ4 拡張された変分推論は、どのように深層生成モデルのスケーラブルな学習を可能にするか？
• RQ5 潜在変数は、ニューラルアーキテクチャにおける誘導的バイアスの注入と構造的制約の強制に、どのように寄与するか？

主な発見

• 深層推論ネットワークを用いた拡張された変分推論により、深層潜在変数モデルの効率的かつスケーラブルな学習が可能になる。
• 適切に最適化された潜在変数アテンション機構は、決定的アテンションを上回る性能を示すことがある。
• 1トークンあたり1つの潜在変数を持つ潜在変数言語モデルは、言語モデリングにおいて最先端の性能を達成する。
• 高い対数尤度スコアを持つモデルでも、高品質なサンプルを生成するとは限らず、尤度と生成品質の間に乖離が生じていることが示唆される。
• ドロップアウトを潜在変数目的として解釈することで、深層ネットワークにおける不確実性推定と一般化性能が向上した。
• 潜在変数モデルは、有効な解析木や分離表現といった、完全に判別的なモデルでは難しい構造的制約や誘導的バイアスを明示的にモデリング可能である。