[論文レビュー] Fluid Flow Mass Transport for Generative Networks

Jingrong Lin, Keegan Lensink+1 more|arXiv (Cornell University)|Oct 3, 2019

Advanced Numerical Analysis Techniques参考文献 23被引用数 9

ひとこと要約

本稿では、最適輸送を用いてGANの訓練を不安定なミニマックス最適化から厳密な最小化問題に再定式化する、流体流れ質量輸送フレームワークを提案する。生成器をテンプレート分布と参照分布を一致させる粒子ベースの流体流れとしてモデル化することで、収束が速く、サンプル品質が優れる。合成テストケースにおいて、従来のGANでは3.6×10⁻¹の誤差率を示したが、本手法では8×10⁻²にまで低下した。

ABSTRACT

Generative Adversarial Networks have been shown to be powerful in generating content. To this end, they have been studied intensively in the last few years. Nonetheless, training these networks requires solving a saddle point problem that is difficult to solve and slowly converging. Motivated from techniques in the registration of point clouds and by the fluid flow formulation of mass transport, we investigate a new formulation that is based on strict minimization, without the need for the maximization. The formulation views the problem as a matching problem rather than an adversarial one and thus allows us to quickly converge and obtain meaningful metrics in the optimization path.

研究の動機と目的

• 従来の生成的対抗ネットワーク（GAN）が困難なミニマックス最適化に依存するための不安定さと収束の遅さを解消すること。
• 生成モデリングを対応関係のない分布マッチング問題に再定式化することで、敵対的訓練の必要性を排除すること。
• 流体流れと最適輸送理論を活用し、生成器の訓練における安定的かつ厳密な最小化可能な最適化を可能にすること。
• 粒子ベースの登録とカーネル密度推定に基づく数値フレームワークを構築し、効率的な分布マッチングを実現すること。
• 低次元の合成実験において優れた性能を示し、MNISTのような高次元設定においても予備的な結果を得ること。

提案手法

• 最適輸送を用いて生成ベクトルの分布を参照分布に一致させる最小化問題として生成器の訓練を定式化する。
• テンプレートから参照ベクトルへの変換を流体流れとしてモデル化し、生成器のパラメータを潜在空間における粒子ベースの登録によって学習する。
• 非線形かつ可逆な写像を可能にするために、学習可能な重みを有する深層残差ネットワークを流れのパrameterizationに用いる。
• 可変幅のガウスカーネルを用いたカーネル密度推定により参照分布を近似し、最適化の過程でσを徐々に小さくすることで局所的マッチングを精緻化する。
• 生成分布と参照分布の乖離を最小化するため、ウォッサーシュタイン距離に基づく損失関数を採用する。
• 2段階の最適化を実施：まず自己符号化器を用いて潜在空間を学習し、次にその空間で流体流れの原則に従って粒子を登録する。

実験結果

リサーチクエスチョン

• RQ1 敵対的ミニマックス最適化を避けて、分布マッチング問題に再定式化することで、生成的ネットワークを訓練できるか？
• RQ2 流体流れ質量輸送理論は、標準的なGAN訓練と比較して収束性と安定性をどのように向上させるか？
• RQ3 既知の真値がある低次元の合成設定において、粒子ベースで最小化のみを用いるアプローチの性能はいかがなものか？
• RQ4 学習された潜在空間を用いて、MNIST画像のような高次元データへ一般化可能か？
• RQ5 最適化プロセスにおいてカーネル幅σの選択が収束性と最終的なサンプル品質に与える影響は？

主な発見

• 真値が既知の低次元合成実験において、本手法は平均二乗誤差8×10⁻²を達成し、GANが示した3.6×10⁻¹よりも顕著に優れた性能を示した。
• 本手法の収束経路は単調的で効率的であり、ミニマックス問題における勾配上昇下の典型的な振動的・円環的経路とは対照的であった。
• 合成実験において、本手法は安定的かつ迅速な収束を示し、意味のある解に到達するまでにGANよりもはるかに少ないエポック数を要した。
• MNISTデータセットでは、生成された画像の80％以上が実際の参照画像と視覚的に区別できず、低次元の潜在空間でも高いサンプル品質を示した。
• 最適化の過程でσを減少させることで局所的マッチングが向上し、σの減少に伴い誤差が増加する傾向を示したが、これは高精度への制御された遷移を示している。
• 本手法は、標準ガウス分布のテンプレートをMNISTの潜在分布にマッピングする生成器を成功裏に学習し、敵対的訓練なしに高品質な画像合成を達成した。