[論文レビュー] Leveraging the Exact Likelihood of Deep Latent Variable Models

Pierre‐Alexandre Mattei, Jes Frellsen|IT University Of Copenhagen (IT University of Copenhagen)|Feb 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 41被引用数 10

ひとこと要約

本稿は、深層潜在変数モデル（DLVM）の正確な尤度を調査し、連続データに対する制約のないDLVMでは尤度が有界でないことが多く、最尤推定においてモード崩壊を引き起こすことを示している。本稿では、正確な条件付き尤度に基づく欠損データ補完手法を提案し、複数のデータセットにおいて標準的な変分補完法を著しく上回っている。

ABSTRACT

Deep latent variable models (DLVMs) combine the approximation abilities of deep neural networks and the statistical foundations of generative models. Variational methods are commonly used for inference; however, the exact likelihood of these models has been largely overlooked. The purpose of this work is to study the general properties of this quantity and to show how they can be leveraged in practice. We focus on important inferential problems that rely on the likelihood: estimation and missing data imputation. First, we investigate maximum likelihood estimation for DLVMs: in particular, we show that most unconstrained models used for continuous data have an unbounded likelihood function. This problematic behaviour is demonstrated to be a source of mode collapse. We also show how to ensure the existence of maximum likelihood estimates, and draw useful connections with nonparametric mixture models. Finally, we describe an algorithm for missing data imputation using the exact conditional likelihood of a deep latent variable model. On several data sets, our algorithm consistently and significantly outperforms the usual imputation scheme used for DLVMs.

研究の動機と目的

• 理論的意義は大きいものの、しばしば無視されがちな深層潜在変数モデル（DLVM）における正確な尤度の統計的性質を調査すること。
• 連続データに対する制約のないDLVMにおける尤度の有界でなさの問題に取り組み、最尤推定におけるモード崩壊を解消すること。
• DLVMにおける最尤推定量が存在する条件を確立し、非パラメトリック混合モデルと関連付けること。
• DLVMの正確な条件付き尤度に基づく、従来の変分補完法を凌駕する新しい欠損データ補完アルゴリズムを開発すること。

提案手法

• DLVMにおける尤度関数の理論的分析により、連続データを扱う大多数の制約のないモデルでは、尤度が有界でないことが判明し、最尤推定に不安定性をもたらす。
• 深層ニューラルネットワークの普遍近似性質を用いて証明を構築し、任意の有限混合モデルが有界尤度を持つDLVMで近似可能であることを示し、非パラメトリック混合モデルと関連づけた。
• 観測済みデータの条件付き尤度を正確に計算する新しい補完アルゴリズムを提案。欠損値の事後分布からのサンプリングには、メトロポリス・イン・ギブス・サンプリングを用いる。
• 変分近似によって生じるバイアスを避けるために、生成モデルの完全な構造を活用し、欠損値の事後予測分布を正確に計算する。
• MNIST、Omniglot、Caltech Silhouettesのデータセットを用い、欠損率40–80％のさまざまな条件下でF1スコアを評価した。
• ウィルコクソン符号順位検定を用いて、提案手法と標準的な疑似ギブズ補完法との間の差を統計的有意性で評価した。

実験結果

リサーチクエスチョン

• RQ1 連続データに対する制約のない深層潜在変数モデルの尤度関数がなぜ有界でなくなるのか。その結果、モデル学習にどのような影響を及えるのか。
• RQ2 深層潜在変数モデルにおける最尤推定量が存在する条件は何か。非パラメトリック混合モデルとどのように関連しているか。
• RQ3 DLVMの正確な条件付き尤度を欠損データ補完に効果的に応用できるか。また、標準的な変分補完法と比較してどのように異なるか。
• RQ4 多様なデータセットと異なる欠損率の下で、正確な条件付き尤度を用いた補完の実効性はどの程度向上するか。
• RQ5 仮説検定によって確認されたように、提案手法は既存の補完手法よりも統計的に有意に優れているか。

主な発見

• 連続データに対する制約のないDLVMの尤度関数は有界でない。これは、最尤推定においてモード崩壊を引き起こす。
• モデル構造や事前分布を制約することで、最尤推定量が保証され、そのようなモデルは非パラメトリック混合モデルと統計的に同等である。
• 正確な条件付き尤度に基づく提案補完手法は、全テストデータセットおよび全欠損率条件下で、標準的な変分補完法を一貫して上回った。
• MNIST、Omniglot、Caltech Silhouettesの各データセットにおいて、ウィルコクソン符号順位検定のp値が10−15未満であった。これは、ベースライン手法に対する統計的に有意な改善を示している。
• 高い欠損率（最大80％）でも高い性能を維持し、すべての設定で顕著な改善が得られた。
• 欠損度が高くなるほど顕著に、補完プロセスで用いられるメトロポリス・イン・ギブス・サンプリングが、疑似ギブズ法よりもはるかに正確であることが示された。