[論文レビュー] Deep Unsupervised Learning using Nonequilibrium Thermodynamics

Jascha Sohl‐Dickstein, Eric A. Weiss+2 more|arXiv (Cornell University)|Mar 12, 2015

Advanced Thermodynamics and Statistical Mechanics参考文献 45被引用数 1,415

ひとこと要約

この論文は、非平衡熱力学に基づく深層生成モデルを紹介している。前向きの拡散プロセスにより、段階的にデータ構造を破壊し、学習された逆方向プロセスにより再構築する。この手法により、正確なサンプリング、容易な尤度評価、効率的な事後分布推論が可能となり、MNIST、CIFAR-10、およびデッドリーブスや樹皮のテクスチャといった自然画像データセットにおいて、最先端の対数尤度性能を達成した。

ABSTRACT

A central problem in machine learning involves modeling complex data-sets using highly flexible families of probability distributions in which learning, sampling, inference, and evaluation are still analytically or computationally tractable. Here, we develop an approach that simultaneously achieves both flexibility and tractability. The essential idea, inspired by non-equilibrium statistical physics, is to systematically and slowly destroy structure in a data distribution through an iterative forward diffusion process. We then learn a reverse diffusion process that restores structure in data, yielding a highly flexible and tractable generative model of the data. This approach allows us to rapidly learn, sample from, and evaluate probabilities in deep generative models with thousands of layers or time steps, as well as to compute conditional and posterior probabilities under the learned model. We additionally release an open source reference implementation of the algorithm.

研究の動機と目的

• 確率的モデリングにおけるモデルの柔軟性と計算の扱いやすさの間の長年の妥協を解消すること。
• 正確なサンプリング、効率的な尤度評価、取り扱いやすい事後分布推論を可能にする生成モデルを開発すること。
• 計算が困難な正規化定数に依存せずに、複雑なデータ分布の高容量モデリングを可能にすること。
• 合成分布から自然画像に至る多様なデータセットに適用可能な統一されたフレームワークを提供すること。
• 解析的取り扱いやすさを保ちながら、ベンチマークデータセットで最先端の性能を示すこと。

提案手法

• モデルは、時間ステップを経て段階的にガウスノイズを加える前向きな拡散プロセスを用い、データ分布を標準正規分布に変換する。
• ノイズから元のデータ分布を再構築する逆方向拡散プロセスを学習し、ニューラルネットワークがドリフト項と拡散項を予測する形でパrameter化する。
• 尤度の対数の変分下界を用いて逆方向プロセスを学習し、真の逆方向軌道とモデル化された軌道との差を最小化する。
• 拡散チェーンの各ステップが解析的に取り扱えることを利用し、確率と勾配の正確な計算が可能になる。
• 他の分布と乗算することで、条件付き生成と事後分布推論をサポートする。
• 画像モデリングにはマルチスケール畳み込みアーキテクチャを用い、全データセットで共通のアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 高々柔軟でありながら、尤度評価とサンプリングにおいて解析的に取り扱える深層生成モデルは構築可能か？
• RQ2 拡散ベースのアプローチは、CIFAR-10 や自然画像のテクスチャといった複雑なデータセットで、最先端の対数尤度を達成可能か？
• RQ3 非平衡拡散プロセスの逆方向を学習することで、正確なサンプリングと効率的な事後分布計算が可能になるか？
• RQ4 この手法は、合成分布から現実の画像に至る多様なデータタイプに一般化可能か？
• RQ5 尤度とサンプル品質の観点から、従来の密度推定手法と比較して、この手法の性能はどの程度か？

主な発見

• CIFAR-10 において、-1.10 ビット/次元の対数尤度の下界を達成し、このベンチマークで以前の手法を上回った。
• デッドリーブスデータセットでは、複雑な自然画像統計のモデリングに優れた性能を示し、最先端の性能を達成した。
• MNIST データセットでは、従来手法と同等またはそれ以上の対数尤度を達成し、フレームワークのおかげで正確な尤度評価が可能になった。
• 2次元のスイスロール分布をうまくモデリングでき、逆方向プロセスが元のデータ多様体を正確に再構築した。
• 高品質な条件付き生成と事後分布推論が可能であり、樹皮テクスチャ画像における欠損領域の補完に成功した。
• アルゴリズムのオープンソース実装が公開されており、再現性とさらなる研究を促進している。