[論文レビュー] FFJORD: Free-form Continuous Dynamics for Scalable Reversible Generative Models

Will Grathwohl, Ricky T. Q. Chen+3 more|arXiv (Cornell University)|Oct 2, 2018

Cellular Automata and Applications被引用数 320

ひとこと要約

FFJORD は Hutchinson の Trace 推定量を用いた無偏な対数密度推定を備えた連続時間、可逆的生成モデルを導入し、制約のないニューラルアーキテクチャとスケーラブルなサンプリングを可能にする。

ABSTRACT

A promising class of generative models maps points from a simple distribution to a complex distribution through an invertible neural network. Likelihood-based training of these models requires restricting their architectures to allow cheap computation of Jacobian determinants. Alternatively, the Jacobian trace can be used if the transformation is specified by an ordinary differential equation. In this paper, we use Hutchinson's trace estimator to give a scalable unbiased estimate of the log-density. The result is a continuous-time invertible generative model with unbiased density estimation and one-pass sampling, while allowing unrestricted neural network architectures. We demonstrate our approach on high-dimensional density estimation, image generation, and variational inference, achieving the state-of-the-art among exact likelihood methods with efficient sampling.

研究の動機と目的

• 制約の少ないアーキテクチャ制約なしに、可逆生成モデルで正確な尤度が必要であるという動機から。
• 制限のないニューラルネットワークで機能する、スケーラブルな対数密度推定器を開発する。
• 離散層を置換するために連続時間ダイナミクスを活用し、効率的なサンプリングと密度評価を実現する。
• 密度推定、画像生成、変分推定での有効性を示す。

提案手法

• データを、連続時間可逆ダイナミクスにより変換される基底分布を用いてモデル化する z'(t)=f(z(t),t;θ)。
• 瞬時の変数変換を用いる: log p(z(t1))=log p(z(t0))−∫ Tr(∂f/∂z) dt。
• Hutchinson の Trace 推定量を用いて Tr(∂f/∂z) を無偏に推定: Tr(A)=E[ε^T A ε]。
• 状態と対数密度を同時に解く拡張ODEを用いて対数尤度を計算し、バックプロパゲーションには随伴法を用いる。
• Tr 推定コストを O(D) に抑え、制限のないアーキテクチャを許容する。GPU 加速ソルバーで ODE を解く。

実験結果

リサーチクエスチョン

• RQ1 連続時間可逆ダイナミクスは、制限のないニューラルアーキテクチャで正確な対数尤度を提供できるか。
• RQ2 Hutchinson の trace 推定量は、データ次元に対して線形時間で無偏な対数密度推定を実現できるか。
• RQ3 制限付き正規化フローと比較して、高次元の密度推定および画像生成における FFJORD の性能はどうか。
• RQ4 FFJORD と離散フロー・モデルを用いた場合の訓練速度、メモリ使用量、関数評価のトレードオフは何か。

主な発見

データセット	Real NVP	Glow	FFJORD	MADE	MAF	TAN	MAF-DDSF	注記 (あれば)
POWER	-0.17	-0.17	-0.46	3.08	-0.24	-0.48	-0.62	-
GAS	-8.33	-8.15	-8.59	-3.56	-10.08	-11.19	-11.96	-
HEPMASS	18.71	18.92	14.92	20.98	17.70	15.12	15.09	-
MINIBOONE	13.55	11.35	10.43	15.59	11.75	11.01	8.86	-
BSDS300	-153.28	-155.07	-157.40	-148.85	-155.69	-157.03	-157.73	-
MNIST	1.06*	1.05*	0.99* (1.05 †)	2.04	1.89	-	-	(multi-scale)
CIFAR10	-	3.40*	3.40*	-	-	-	-	-

• FFJORD は O(D) のコストで無偏な対数密度推定を実現し、制限のないアーキテクチャを可能にする。
• 密度推定では、FFJORD が他の可逆フローを上回り、表形式データでは特定の自己回帰法を上回ることがあり、いくつかの画像タスクではパラメータ数を抑えられる。
• FFJORD は分離したモードや多峰性密度をモデル化でき、いくつかの離散フロー・モデルが苦手とする点に対応する。
• ボトルネック型アーキテクチャは、トレース推定量の分散を低減し、特定の推定スキームの下で訓練を高速化できる。
• ODEソルバの評価回数は固定ではなく、訓練とともに増える傾向だが、データ次元数 D とはほぼ独立している。