[論文レビュー] Sliced Iterative Generator.

Biwei Dai, Uroš Seljak|arXiv (Cornell University)|Jul 1, 2020

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 4

ひとこと要約

Sliced Iterative Generator (SIG) は、1次元データスライス上で反復的最適輸送を用いる正規化フローに基づく生成モデルであり、次元削減を伴わずに MNIST および Fashion-MNIST で最先端の FID スコアを達成している。尤度評価が効率的に行えるほか、バックプロパゲーションやミニバッチ処理といった標準的なディープラーニング手法を避ける。

ABSTRACT

We introduce the Sliced Iterative Generator (SIG), an iterative generative model that is a Normalizing Flow (NF), but shares the advantages of Generative Adversarial Networks (GANs). The model is based on iterative Optimal Transport of a series of 1D slices through the data space, matching on each slice the probability distribution function (PDF) of the samples to the data. To improve the efficiency, the directions of the orthogonal slices are chosen to maximize the PDF difference between the generated samples and the data using Wasserstein distance at each iteration. A patch based approach is adopted to model the images in a hierarchical way, enabling the model to scale well to high dimensions. Unlike GANs, SIG has a NF structure and allows efficient likelihood evaluations that can be used in downstream tasks. We show that SIG is capable of generating realistic, high dimensional samples of images, achieving state of the art FID scores on MNIST and Fashion MNIST without any dimensionality reduction. It also has good Out of Distribution detection properties using the likelihood. To the best of our knowledge, SIG is the first iterative (greedy) deep learning algorithm that is competitive with the state of the art non-iterative generators in high dimensions. While SIG has a deep neural network architecture, the approach deviates significantly from the current deep learning paradigm, as it does not use concepts such as mini-batching, stochastic gradient descent, gradient back-propagation through deep layers, or non-convex loss function optimization. SIG is very insensitive to hyper-parameter tuning, making it a useful generator tool for ML experts and non-experts alike.

研究の動機と目的

• GAN のサンプル品質と正規化フローの尤度評価能力を併せ持つ深層生成モデルの開発。
• 特に MNIST や Fashion-MNIST のようなデータセットに対して、次元削減を伴わずに高次元画像生成を可能にする。
• 標準的なディープラーニング最適化パラダイムを避ける、トレーニング不要でハイパーパramータに敏感でないフレームワークの設計。
• 正規化フロー構造から導出される尤度スコアを用いて、分布外検出を改善すること。
• 非凸損失関数のエンドツーエンド最適化を必要としない、反復的かつグリーディーな最適化戦略に基づく競争力のある性能の達成。

提案手法

• モデルは、データ空間を貫く直交する1次元スライス上で反復的最適輸送を実行し、各スライス上で生成サンプルの確率密度関数（PDF）とデータのPDFを一致させる。
• 各反復において、生成PDFとデータPDF間のワーソンシュタイン距離を最大化する方向が選択され、段階的で改善が保証される。
• 画像のスケーラビリティを実現するため、パッチベースの階層的アプローチが用いられる。
• モデルは正規化フローのアーキテクチャを活用することで、正確な尤度計算を可能にし、OOD検出などの後続タスクを支援する。
• トレーニングプロセスはミニバッチ処理、確率的勾配降下、深層ネットワークにおけるバックプロパゲーションを回避し、代わりに反復的スライス最適化に依存する。
• この手法は本質的にグリーディーであり、非凸損失関数のエンドツーエンド最適化を必要とせず、段階的にフローを更新する。

実験結果

リサーチクエスチョン

• RQ1 反復的でバックプロパゲーションに依存しない深層生成モデルは、高次元空間において最先端の画像生成品質を達成できるか？
• RQ2 正規化フローに基づくジェネレータは、高品質なサンプルを維持しながら、効率的な尤度評価とOOD検出を可能にするか？
• RQ3 方向選択を適応的に行うスライスベースの最適輸送アプローチは、標準的な GAN や正規化フローを上回る高次元画像生成性能を示すか？
• RQ4 従来の深層生成モデルと比較して、提案手法はハイパーパramータのチューニングに対してどれほど頑健か？
• RQ5 ワーソンシュタイン距離に基づく1次元スライス上のグリーディーで反復的な最適化戦略は、エンドツーエンドトレーニングを必要とせず、複雑なデータ分布を効果的にモデル化できるか？

主な発見

• SIG は、次元削減を一切行わず、MNIST および Fashion-MNIST データセットで最先端の Fréchet Inception Distance (FID) スコアを達成した。
• 正規化フロー構造のおかげで正確な尤度評価が可能であり、信頼性の高い分布外検出を支援する。
• SIG はハイパーパramータのチューニングに対して極めて感受性が低く、専門家および非専門家にとっても利用しやすい。
• 反復的かつスライスベースのアプローチにより、階層的パッチベース戦略を用いて高次元画像データの効果的なモデリングが可能になった。
• SIG は、高次元空間において非反復的最先端ジェネレータと同等の性能を達成する最初の反復的（グリーディー）ディープラーニングアルゴリズムである。
• バックプロパゲーションとミニバッチ処理を回避することで、SIG は標準的なディープラーニングパラダイムから逸脱しながらも、強力な生成性能を維持している。