[論文レビュー] Continuous-Time Flows for Efficient Inference and Density Estimation

Changyou Chen, Chunyuan Li+4 more|arXiv (Cornell University)|Sep 4, 2017

Generative Adversarial Networks and Image Synthesis被引用数 21

ひとこと要約

本稿では、一貫したアーキテクチャ内で効率的な推論と明示的な密度推定を両立する、拡散ベースのフレームワークである連続時刻フロー（CTFs）を提案する。敵対的学習によるアモアタイズド分布マッチングを活用することで、CTFsは理論的保証のもとで漸近的にターゲット分布に近づき、ベンチマークデータセットにおけるELBOおよびインセプションスコアで既存手法を上回る性能を発揮する。

ABSTRACT

Two fundamental problems in unsupervised learning are efficient inference for latent-variable models and robust density estimation based on large amounts of unlabeled data. Algorithms for the two tasks, such as normalizing flows and generative adversarial networks (GANs), are often developed independently. In this paper, we propose the concept of {\em continuous-time flows} (CTFs), a family of diffusion-based methods that are able to asymptotically approach a target distribution. Distinct from normalizing flows and GANs, CTFs can be adopted to achieve the above two goals in one framework, with theoretical guarantees. Our framework includes distilling knowledge from a CTF for efficient inference, and learning an explicit energy-based distribution with CTFs for density estimation. Both tasks rely on a new technique for distribution matching within amortized learning. Experiments on various tasks demonstrate promising performance of the proposed CTF framework, compared to related techniques.

研究の動機と目的

• 単一のフレームワーク内で、非教師あり学習における効率的推論と頑健な密度推定を統合すること。
• 離散的時刻の正規化フローの有限近似限界を克服するため、連続時刻フロー（CTFs）を導入すること。
• CTFsから知識を効率的に抽出し、推論ネットワークや生成器に適用可能なアモアタイズド学習を可能にすること。
• CTFsを用いたターゲット分布の近似精度に関する理論的保証を提供すること。
• 潜在変数の推論およびデータ分布モデリングの両面で、最先端の性能を実証すること。

提案手法

• 連続時刻ドメイン上にインデックス付けされた拡散ベースの手法としての連続時刻フロー（CTFs）を提案し、無限大の変換を可能にする。
• 確率的微分方程式（SDE）を用いて、単純な事前分布から複雑なターゲット分布への確率的変数の変化をモデル化する。
• 敵対的学習によるアモアタイズド分布マッチングを活用し、CTFsから知識を抽出して推論または生成用のニューラルネットワークに統合する。
• 変分オートエンコーダーにCTFフレームワークを適用して効率的な事後分布近似を実現し、GANに類似したモデルを用いて明示的なエネルギーベースの密度推定を実現する。
• エネルギーベースのモデルを $ p_{{m{ heta}}}( extbf{x}) \propto \exp\{-\|\textbf{x} - \text{DEC}_{{m{ heta}}}(\text{ENC}_{{m{ heta}}}(\textbf{x}))\|^{2}\} $ として定義し、学習可能なエンコーダーとデコーダーを用いる。
• ReLUおよびtanh活性化関数を用いた3層のCNNジェネレータを採用し、トレーニング中に学習率を動的に調整する。

実験結果

リサーチクエスチョン

• RQ1 連続時刻フローは、潜在変数推論において、離散的時刻の正規化フローに比べてより高い近似精度を達成できるか？
• RQ2 学習可能なエネルギーベースモデルを用いて、CTFsは明示的な密度推定に効果的に利用できるか？
• RQ3 CTFsから得られる知識のアモアタイズド抽出は、標準的なVAEやGANと比較して、推論効率および生成品質を向上させられるか？
• RQ4 CTFベースのモデルは、理論的収束保証を維持しつつ、競争力のあるインセプションスコアを達成できるか？
• RQ5 画像生成タスクにおいて、DCGAN、WGAN-I、SteinGANといった最先端手法と比較して、CTFフレームワークは性能で優れるか？

主な発見

• CTFsを用いたMacVAEは、MNISTでELBOが約-85.62を達成し、標準VAEや正規化フローを上回る性能を示した。
• 提案されたMacGANフレームワークは、CIFAR-10でインセプションスコア6.49を達成し、SteinGAN（6.35）やWGAN-I（6.25）を上回り、DCGAN（6.58）に近い性能を示した。
• MacGANからの視覚的サンプルは、高品質な画像生成を示しており、特に生成器の潜在空間におけるランダムウォークを組み合わせた場合、明確なディテールと多様性が特徴的であった。
• CTFベースのフレームワークは、推論（ELBO）および密度推定（インセプションスコア）の両面で優れた性能を示し、二重目的の能力を裏付けた。
• 実験の結果、CTFsは有限深度の正規化フローに比べて理論的収束保証とより高い近似精度を提供することが明らかになった。
• CTFsから推論および生成ネットワークへの知識の抽出により、最小限のアーキテクチャ的オーバーヘッドで効率的かつアモアタイズド推論・生成が可能になった。