[論文レビュー] A gradual, semi-discrete approach to generative network training via explicit Wasserstein minimization

Yucheng Chen, Matus Telgarsky+4 more|arXiv (Cornell University)|Jun 8, 2019

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 4

ひとこと要約

本稿では、生成ネットワークの出力分布とターゲット分布の間の Wasserstein 距離を明示的に最小化する、非敵対的で交替的な生成モデリング手法を提案する。この手法は、連続的な生成出力を有する半離散的設定において、最適輸送マッピングと回帰を交互に実行することで、Empirical および Population の両方の Wasserstein 距離を理論的に最小化する。MNIST および Thin-8 において、最先端の性能を示し、一般化性能とモードカバレッジの両方が向上している。

ABSTRACT

This paper provides a simple procedure to fit generative networks to target distributions, with the goal of a small Wasserstein distance (or other optimal transport costs). The approach is based on two principles: (a) if the source randomness of the network is a continuous distribution (the "semi-discrete" setting), then the Wasserstein distance is realized by a deterministic optimal transport mapping; (b) given an optimal transport mapping between a generator network and a target distribution, the Wasserstein distance may be decreased via a regression between the generated data and the mapped target points. The procedure here therefore alternates these two steps, forming an optimal transport and regressing against it, gradually adjusting the generator network towards the target distribution. Mathematically, this approach is shown to minimize the Wasserstein distance to both the empirical target distribution, and also its underlying population counterpart. Empirically, good performance is demonstrated on the training and testing sets of the MNIST and Thin-8 data. The paper closes with a discussion of the unsuitability of the Wasserstein distance for certain tasks, as has been identified in prior work [Arora et al., 2017, Huang et al., 2017].

研究の動機と目的

• 生成ネットワークの出力分布とターゲットデータ分布の間の Wasserstein 距離を明示的に最小化する、敵対的でない交替的手順の開発。
• バッチごとの最適輸送近似の限界を解消し、サンプリングバイアスにより真の Wasserstein 距離を最小化できない問題に対処する。
• 次元数に多項式的に依存するバウンドを示すことで、訓練データセットに限定されず、元のデータ分布への一般化を保証する。
• GAN や VAE と比較して、特に Thin-8 のような困難なデータセットにおいて、モードカバレッジと分布の忠実度の両面で優れた性能を示すこと。
• 低 Wasserstein 距離と画像のシャープネスのトレードオフを調査し、知覚損失や敵対的正則化などの手法による解決策を提案する。

提案手法

• 本手法は2段階の交互プロセスを実行する：最適輸送ソルバー（OTS）は、半離散的設定下で、現在の生成器出力分布とターゲット分布の間の決定的最適輸送マップを計算する。
• FIT ステップでは、標準的な回帰手法を用いて、OT マップで定義されたターゲット点に生成サンプルをシフトするように、生成器ネットワークを更新する。
• 半離散的定式化により、最適輸送が決定的かつ正確に保証され、バッチごとの近似に起因するバイアスが回避される。
• 段階的でゆっくりとした変形プロセスにより、生成器出力分布がターゲット分布に徐々に近づき、実験的に良好な一般化性能と滑らかな多様体が得られる。
• 三角不等式と集中不等式を用いた理論的保証により、本手法が、Empirical データセットおよび母集団分布の両方における Wasserstein 距離を最小化することを示している。
• 本手法は MNIST、CIFAR10、および困難な Thin-8 データセットに適用され、Wasserstein-1 距離を指標として GAN や VAE と比較されている。

実験結果

リサーチクエスチョン

• RQ1 敵対的でない交替的手順により、生成モデルの出力とターゲット分布の間の Wasserstein 距離を明示的に最小化できるか？
• RQ2 最適輸送の半離散的定式化は、バッチごとの近似に起因するバイアスを回避する決定的かつ正確なマッピングを可能にするか？
• RQ3 段階的で反復的な精錬プロセスにより、訓練セットに限定されず、母集団分布への一般化が向上するか？
• RQ4 Wasserstein 距離の最小化は、GAN ベースの手法と比較して、モードカバレッジと視覚的品質にどのように影響を与えるか？
• RQ5 Wasserstein 最小化における画像のシャープネスの限界は何か？それらを緩和するにはどうすればよいか？

主な発見

• CIFAR10 において、Wasserstein-1 距離が 655 と最低を記録し、WGAN-GP（849）や VAE（745）を上回り、分布の整合性が優れていることが示された。
• MNIST および Thin-8 において、ベースラインと比較して、生成された数字が質的に優れており、訓練セットとテストセットの両方で一貫した性能を示した。
• モードを省略するコストが高いため、本手法は自然にモード崩壊を防ぎ、データ分布のモードをより良いカバレッジでカバーする。
• GAN よりもぼやけが少なく、生成サンプルの品質が向上しているにもかかわらず、Wasserstein 距離は最低を記録しており、ピクセル単位の輸送コストを最小化する正則化効果があると考えられる。
• 理論的分析により、本手法が、Empirical データセットおよび母集団分布の両方における Wasserstein 距離を最小化することが示され、次元数に多項式的に依存するバウンドが得られた。
• 著者らは、ピクセル単位のメトリクスによる Wasserstein 距離の最小化がモードカバレッジのバイアスを誘発すると仮説を立て、今後の研究で知覚損失や敵対的損失と組み合わせることでシャープネスを向上させることを提案している。