[論文レビュー] Potential Flow Generator with $L_2$ Optimal Transport Regularity for Generative Models

Liu Yang, George Em Karniadakis|arXiv (Cornell University)|Aug 29, 2019

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 5

ひとこと要約

本稿では、$L_2$ 最適輸送正則化を備えたポテンシャルフロー生成器を提案し、入力サンプルが構造的に類似した近接する出力にマッピングされることを保証することで、対応のないデータを用いた画像変換の性能を向上させている。この手法は GAN やフローベースモデルにスムーズに統合可能であり、従来の手法と比較して優れた近接性と頑健性を達成している。

ABSTRACT

We propose a potential flow generator with $L_2$ optimal transport regularity, which can be easily integrated into a wide range of generative models including different versions of GANs and flow-based models. We show the correctness and robustness of the potential flow generator in several 2D problems, and illustrate the concept of "proximity" due to the $L_2$ optimal transport regularity. Subsequently, we demonstrate the effectiveness of the potential flow generator in image translation tasks with unpaired training data from the MNIST dataset and the CelebA dataset.

研究の動機と目的

• 対応のない設定における画像変換における構造的整合性を向上させるために、$L_2$ 最適輸送正則化を強制する生成器を開発すること。
• GAN やフローベースモデルを含む多様な生成モデルに、最小限のアーキテクチャ変更で $L_2$ 最適輸送正則化を統合できることを実現すること。
• $L_2$ 最適輸送正則化が『近接性』特性を誘発し、類似した入力を類似した出力にマッピングすることを示すこと。
• 2次元問題および MNIST と CelebA データセットを用いた実世界の画像変換タスクにおいて、対応のないデータを用いて手法の妥当性を検証すること。
• 離散的および連続的バージョンのポテンシャルフロー生成器を比較し、連続的バージョンの頑健性が優れていることを示すこと。

提案手法

• 連続的ポテンシャルフロー生成器を提案し、$L_2$ 最適輸送マップから導かれる偏微分方程式（PDE）を解くことで実現する。速度ポテンシャルをニューラルネットワークで表現する。
• 離散的ポテンシャルフロー生成器を実装し、離散的な点に対して閉形式解を用いて直接 $L_2$ 最適輸送を強制する。
• 連続の式と $L_2$ 最適輸送条件から導かれる PDE ペナルティ項を、既存の生成器損失関数に追加する。
• 生成器をポテンシャル関数 $\tilde{\phi}$ の勾配として定義するため、フィードフォワードニューラルネットワークを用いて $\tilde{\phi}$ をパラメータ化する。
• Adam 最適化手法を用い、$10,000$ ステップの学習を実施。$L_2$ ペナルティ重みは 1.0 に設定。GAN および連続的正規化フローに本手法を適用する。
• 画像の埋め込みを 700 次元のユークリッド空間に変換するため、PCA を用いることで、画像間変換タスクにおけるベクトル空間での変換を可能にする。

実験結果

リサーチクエスチョン

• RQ1 対応のない設定において、$L_2$ 最適輸送正則化を備えたポテンシャルフロー生成器は、画像変換の品質と構造的整合性を向上させることができるか？
• RQ2 $L_2$ 最適輸送正則化はどのように『近接性』特性を実現し、類似した入力を類似した出力にマッピングするか？
• RQ3 連続的ポテンシャルフロー生成器は、離散的バージョンと比較して、最適輸送マップ推定における頑健性と精度で優れているか？
• RQ4 本手法は、特別な損失関数を必要とせず、GAN やフローベースモデルといった多様な生成モデルにスムーズに統合可能か？
• RQ5 解析的解と比較して、MNIST や CelebA のような複雑な実世界分布において、本手法はどの程度有効か？

主な発見

• 連続的ポテンシャルフロー生成器は、複雑な分布において、離散的バージョンと比較してより高い頑健性と精度を示し、$L_2$ 最適輸送マップの推定に優れている。
• MNIST データセットでは、数字 0 が 6 に、1 が 7 に、3 が 5 や 8 に、4 が 9 にマッピングされるなど、視覚的に類似した変換が実現しており、『近接性』特性が明確に示されている。
• CelebA データセットでは、笑顔でない顔が笑顔の顔に変換されるが、顔の側面やぼやけた再構成では性能が低下しており、これは PCA の制限に起因する。
• 連続的正規化フローにおいて、生成器はターゲット分布 $\nu$ と $G_\#\mu$ をうまく一致させており、$\mu$ からのサンプルが近くの位置にマッピングされていることが確認され、近接性効果が裏付けられた。
• 本手法は、対応のないデータを用いた効果的な画像変換を達成しており、CycleGAN や同様のモデルにおけるサイクル整合性損失の代わりに、数学的に根拠のある代替手段を提供している。
• ポテンシャルフロー生成器の統合は、既存の損失関数へのわずかな拡張で実現可能であり、GAN やフローベースモデルへの広範な適用可能性を示している。