[論文レビュー] FFJORD: Free-form Continuous Dynamics for Scalable Reversible Generative Models

Will Grathwohl, Ricky T. Q. Chen+3 more|arXiv (Cornell University)|Oct 2, 2018

Generative Adversarial Networks and Image Synthesis参考文献 10被引用数 137

ひとこと要約

FFJORDは、制限のないニューラルネットワークと偏りのない Hutchinson トレース推定量を用いてlog-likelihoodを計算する連続時間可逆生成モデルを導入し、スケーラブルな密度推定とワンパスサンプリングによる厳密な尤度を可能にします。

ABSTRACT

A promising class of generative models maps points from a simple distribution to a complex distribution through an invertible neural network. Likelihood-based training of these models requires restricting their architectures to allow cheap computation of Jacobian determinants. Alternatively, the Jacobian trace can be used if the transformation is specified by an ordinary differential equation. In this paper, we use Hutchinson's trace estimator to give a scalable unbiased estimate of the log-density. The result is a continuous-time invertible generative model with unbiased density estimation and one-pass sampling, while allowing unrestricted neural network architectures. We demonstrate our approach on high-dimensional density estimation, image generation, and variational inference, achieving the state-of-the-art among exact likelihood methods with efficient sampling.

研究の動機と目的

• 可逆生成モデルで制限的なアーキテクチャ制約を回避し、スケーラブルな密度推定を動機づける。
• 偏りのない対数密度推定を備えた連続時間正規化フロー（CNF）フレームワークを導入する。
• ヤバイ? Jacobian determinant のコストを線形時間推定に低減させることで、高 expressive なニューラルネットワークの訓練を可能にする。
• 密度推定と変分推論タスクにおいて、厳密尤度法の最先端性能を示す。

提案手法

• データ変換を、基底分布から z(t0) を取り、z(t1) = x となる連続時間動力学 z(t)として定義する。
• 瞬時の変数変換を用いる: log p(z(t1)) = log p(z(t0)) - ∫ Tr(∂f/∂z) dt。
• Tr(∂f/∂z) を解ごとに固定ノイズベクトルを用いた Hutchinson のトレース推定量で偏りなく計算する。
• 連続動力学を介して微分方程式を伝播させ、連続動力学を経由する効率的なバックプロパゲーションのために adjoint 法を用いる。
• GPU 加速型の適応型 ODE ソルバを活用して、制限のないアーキテクチャでモデルを訓練・評価する。
• ボトルネック（最低の隠れ層次元）による分散削減と、ODE ソルバの選択に関する実務的考慮を論じる。

実験結果

リサーチクエスチョン

• RQ1 連続時間可逆生成モデルは、制限のないニューラルネットワークアーキテクチャで厳密な log-likelihood を達成できるか。
• RQ2 Hutchinson のトレース推定量は、高次元データに適した偏りのない、スケーラブルな log-density 推定を提供するか。
• RQ3 FFJORD は、密度推定と変分推定タスクにおいて、既存の正規化フローや自己回帰モデルとどのように比較されるか。
• RQ4 訓練時のトレードオフ（例: 関数評価回数、ボトルネック効果、ソルバ選択）にはどのような現実的な影響があるか。

主な発見

• FFJORD は次元数に対して線形時間計算量で偏りのない log-density 推定を達成し、制限のないアーキテクチャを可能にする。
• 2D のおもちゃデータにおいて、FFJORD は多峰性および不連続密度をモデル化し、いくつかの事前のフローには難しい点を示す。
• FFJORD は tabular 密度推定において厳密尤度モデルの競争力あるまたは最先端の性能を達成し、MNIST/CIFAR10 では Glow/Real NVP に匹敵しつつはるかに少ないパラメータで済む。
• 変分オートエンコーダにおいて、FFJORD ベースのフローは複数のデータセットで他のいくつかの競合する正規化フローを上回る。
• ソルバベースのアプローチは高次元データへのスケーラビリティを示すが、訓練とデータの複雑さに応じて関数評価回数が増加することがある。