[論文レビュー] Sliced Iterative Normalizing Flows

Biwei Dai, Uroš Seljak|arXiv (Cornell University)|Jul 1, 2020

Generative Adversarial Networks and Image Synthesis参考文献 59被引用数 4

ひとこと要約

本稿では、シンプルな事前分布を複雑なデータ分布へと変換するために、1次元スライス上で反復的最適輸送を用いる、Sliced Iterative Normalizing Flows (SINF) と呼ばれる新しい深層生成モデルを提案する。各ステップで Wasserstein 距離を最大化するようにスライシング方向を選択することで、GAN と同等の高いサンプル品質を達成し、ハイパーパramータに敏感でない安定した性能と、小規模データセットでも競争力のある密度推定性能を実現した。

ABSTRACT

We develop an iterative (greedy) deep learning (DL) algorithm which is able to transform an arbitrary probability distribution function (PDF) into the target PDF. The model is based on iterative Optimal Transport of a series of 1D slices, matching on each slice the marginal PDF to the target. The axes of the orthogonal slices are chosen to maximize the PDF difference using Wasserstein distance at each iteration, which enables the algorithm to scale well to high dimensions. As special cases of this algorithm, we introduce two sliced iterative Normalizing Flow (SINF) models, which map from the data to the latent space (GIS) and vice versa (SIG). We show that SIG is able to generate high quality samples of image datasets, which match the GAN benchmarks, while GIS obtains competitive results on density estimation tasks compared to the density trained NFs, and is more stable, faster, and achieves higher $p(x)$ when trained on small training sets. SINF approach deviates significantly from the current DL paradigm, as it is greedy and does not use concepts such as mini-batching, stochastic gradient descent and gradient back-propagation through deep layers.

研究の動機と目的

• 標準的な正規化フローと GAN が抱えるサンプル品質と訓練安定性の限界を克服し、新たな最適化パラダイムを導入すること。
• 高次元の最適輸送の複雑さを、適応的スライス上の1次元輸送問題の系列に分解することで克服すること。
• 逆誤差伝搬に依存しないグリーディーな訓練フレームワークを構築し、vanishing gradient やモード崩壊といった深層学習の一般的な問題を回避すること。
• 最小限のハイパーパramータ感度と高いランダムシードに対するロバストネスを備えながら、生成モデルと密度推定の両面で競争力のある性能を達成すること。

提案手法

• 正規化フローのスライシング方向を、現在の分布とターゲット分布の差異を最大にするように選択するための新しい指標、max K-スライス Wasserstein 距離を提案する。
• 選択されたスライシング方向に沿った周辺分布に対して、反復的に1次元最適輸送を適用し、グリーディーかつ加法的に変換を更新する。
• 正則化を施したスプラインパラメータと線形外挿法を用いた有理二次スプラインを1次元カップリングフローに採用し、安定性を確保する。
• 高次元画像のための階層的パッチベースアーキテクチャを導入し、大きなパッチから始めて、徐々に小さなパッチへと精錬する。
• 密度推定タスクでは事前処理としてロジット変換を適用し、非パラメトリック密度推定には Scott のルールに基づく KDE によるバンド幅推定を用いる。
• 2つの変種を訓練する：GIS（データから潜在空間）は密度推定用、SIG（潜在空間からデータ）はサンプリング用であり、両者とも反復的かつ逆誤差伝搬に依存しない最適化を採用する。

実験結果

リサーチクエスチョン

• RQ1 適応的スライス上で反復的1次元最適輸送を用いることで、敵対的訓練を伴わずしても GAN と同等の高品質なサンプル生成が可能か？
• RQ2 本手法は小規模データセットでも標準的な正規化フローを上回る競争力のある密度推定性能を達成できるか？
• RQ3 逆誤差伝搬とミニバッチの欠如により、顕著に安定した訓練が実現され、ハイパーパramータ感度が低減するか？
• RQ4 max K-スライス Wasserstein 距離指標が、高次元へのスケーリングを効果的にガイドできるか？
• RQ5 階層的パッチベースアーキテクチャは、CIFAR-10 や CelebA といった高次元画像データに対して性能をどのように向上させるか？

主な発見

• SIG は FID スコアと IS スコアの両面で GAN ベンチマークに匹敵する高品質な画像サンプルを生成し、敵対的訓練なしで強力な生成能力を示した。
• GIS は MNIST、CIFAR-10、CelebA で競争力ある密度推定結果を達成し、特に小規模な学習セットでは標準的な NF よりも高い対数尤度を達成した。
• モデルは極めて高い訓練安定性を示した。複数のランダムシードとデータセットにおいて、訓練失敗は観察されなかった。
• 学習率、正則化、カーネルバンド幅といったハイパーパラメータの選択に強く依存せず、さまざまな設定でも安定した結果が得られた。
• 小規模データセット（例：1000サンプル）では、GIS がベースラインの NF よりも顕著に高い対数尤度を達成し、一般化性能の優位性を示した。
• パッチサイズを徐々に小さくする（q=8 から q=2 まで）階層的パッチベースアーキテクチャは、画像データセットでの性能を向上させた。パッチサイズごに 200 回の反復が最適な結果をもたらした。