[論文レビュー] A Review of Learning with Deep Generative Models from Perspective of Graphical Modeling

Zhijian Ou|arXiv (Cornell University)|Aug 5, 2018

Generative Adversarial Networks and Image Synthesis参考文献 94被引用数 16

ひとこと要約

この論文は、グラフィカルモデリングの観点から深層生成モデル（DGMs）をレビューし、有向モデルと無向モデルの区別をし、モデル定義と学習アルゴリズムを分離している。変分推論、スコアベース学習、敵対的学習といった主な学習手法の体系的比較を提供し、それらの理論的基盤、実装上の課題、および関連性を強調しており、VAE、GAN、ノイズ対比推定（NCE）といった最近の進展に焦点を当てる。

ABSTRACT

This document aims to provide a review on learning with deep generative models (DGMs), which is an highly-active area in machine learning and more generally, artificial intelligence. This review is not meant to be a tutorial, but when necessary, we provide self-contained derivations for completeness. This review has two features. First, though there are different perspectives to classify DGMs, we choose to organize this review from the perspective of graphical modeling, because the learning methods for directed DGMs and undirected DGMs are fundamentally different. Second, we differentiate model definitions from model learning algorithms, since different learning algorithms can be applied to solve the learning problem on the same model, and an algorithm can be applied to learn different models. We thus separate model definition and model learning, with more emphasis on reviewing, differentiating and connecting different learning algorithms. We also discuss promising future research directions.

研究の動機と目的

• グラフィカルモデリングの枠組みを用いて深層生成モデル（DGMs）を体系的に整理し、有向モデルと無向モデルにおける学習手法の根本的な違いに焦点を当てる。
• モデル定義と学習アルゴリズムを分離することで、同じモデルに異なるアルゴリズムが適用可能であるか、逆に同じアルゴリズムが複数のモデルに適用可能であるかを明確に理解できるようにする。
• 変分推論、スコアベース学習、敵対的学習、ノイズ対比推定といった主な学習パラダイムの理論的・実用的差異を比較・接続し、それらの特徴を強調する。
• 訓練の安定性、離散的潜在変数、逐次的モデリングといったDGM学習における未解決の課題を特定し、今後の研究方向性を示唆する。
• モデル固有のブランド化ではなく、アルゴリズムの微分可能性と統一性に焦点を当てた、包括的かつ最新のDGM学習の概要を提供する。

提案手法

• グラフィカルモデリング用語を用いて、DGMsを有向モデル（ベイジアンネットワーク）と無向モデル（マルコフ確率場）に分類し、無向モデルに存在する正規化定数（パーティション関数）の有無に起因して、学習手法が根本的に異なることを示す。
• モデル定義（例：VAE、GAN）と学習アルゴリズム（例：変分推論、敵対的訓練）を分離するフレームワークを導入し、異なるモデル間での分析を可能にする。
• 証拠下限界（ELBO）を介した変分推論をレビューし、近似事後分布 $ q_{\phi}(h|x) $ を用いて対数尤度下限界を最大化する形で目的関数を定式化する。
• 敵対的学習を、識別器 $ D_{\psi}(x) $ を用いて $ f $-ダイバージェンスを最小化する形で定式化し、ロジット $ V_{\psi}(x) = \log \frac{D_{\psi}(x)}{1 - D_{\psi}(x)} $ が学習目的関数の主要な構成要素であることを分析する。また、ノイズ対比推定（NCE）と接続する。
• 不確実性のある単一目的最適化問題を、補助的最適化問題の解によって不確実な項（例：尤度比）を置き換えることで、取り扱いやすい多目的問題に変換する「プラグインテクニック」を適用する。
• NCEと $ f $-ダイバージェンスの変分推定との関係を導出し、特定の $ f $-関数と補助分布の下で、NCE目的関数が変分下限界と等価であることを示す。

実験結果

リサーチクエスチョン

• RQ1 無向モデルに正規化定数が存在するため、有向モデルと無向モデルにおける学習手法の根本的な違いは何か？
• RQ2 学習アルゴリズムをモデル定義からどれだけ分離できるのか。この分離により、VAE や GAN のようなDGMsの理解がどのように向上するのか？
• RQ3 深層生成モデルにおける確率的隠れ層と決定的隠れ層の間で、理論的・実用的トレードオフは何か？
• RQ4 プラグインテクニックを用いることで、DGM学習における不確実な最適化問題をどのように取り扱いやすい多目的問題に変換できるか？
• RQ5 $ f $-ダイバージェンス最小化の文脈において、ノイズ対比推定（NCE）、変分推論、敵対的学習の間にはどのような関係があるか？

主な発見

• 本レビューは、無向モデルに正規化定数が存在するため、有向モデルと無向モデルにおける学習アプローチが根本的に異なることを確立している。これは、尤度に基づく訓練が複雑になることを意味する。
• 変分推論は、近似事後分布 $ q_{\phi}(h|x) $ を最適化することで、対数尤度の取り扱いやすい下限界（ELBO）を提供し、VAEなどのモデルのエンドツーエンド訓練を可能にする。
• 敵対的学習、特にGANを介して、識別器 $ D_{\psi}(x) $ を用いて $ f $-ダイバージェンスを最小化するが、ロジット $ V_{\psi}(x) $ が学習目的関数の中心的役割を果たす。
• ノイズ対比推定（NCE）は、既知のノイズ分布を用いてモデル密度を推定することで、尤度に基づく訓練の代替手段として一貫性があり安定している。特に、特定の条件下ではNCE目的関数が変分下限界と等価であることが示されている。
• プラグインテクニックにより、不確実な単一目的最適化問題を、補助最適化問題の解で置き換えることで、取り扱いやすい多目的問題に変換できるが、勾配の一貫性は確認が必要である。
• 本論文は、訓練の安定化、離散的潜在変数および観測変数の取り扱い、逐次的データのモデリングといった主要な未解決課題を特定しており、これらは現在も活発な研究分野のままである。