[論文レビュー] Deep Generative Learning via Schrödinger Bridge

Gefei Wang, Yuling Jiao+3 more|arXiv (Cornell University)|Jun 19, 2021

Generative Adversarial Networks and Image Synthesis参考文献 38被引用数 4

ひとこと要約

本稿は、シュレーディンガー橋に基づく新しい深層生成モデル枠組みを提案する。この枠組みは、時間非一様なスデ（SDE）を介して、参照分布とターゲット分布の間のエントロピー補間として生成学習を定式化する。やや弱い滑らかさの仮定の下で、理論的整合性を保証し、合成および実世界のベンチマークにおいて最先端の GAN と同等の性能を達成する。画像生成、補間、穴埋めの各分野で優れた結果を示している。

ABSTRACT

We propose to learn a generative model via entropy interpolation with a Schrödinger Bridge. The generative learning task can be formulated as interpolating between a reference distribution and a target distribution based on the Kullback-Leibler divergence. At the population level, this entropy interpolation is characterized via an SDE on $[0,1]$ with a time-varying drift term. At the sample level, we derive our Schrödinger Bridge algorithm by plugging the drift term estimated by a deep score estimator and a deep density ratio estimator into the Euler-Maruyama method. Under some mild smoothness assumptions of the target distribution, we prove the consistency of both the score estimator and the density ratio estimator, and then establish the consistency of the proposed Schrödinger Bridge approach. Our theoretical results guarantee that the distribution learned by our approach converges to the target distribution. Experimental results on multimodal synthetic data and benchmark data support our theoretical findings and indicate that the generative model via Schrödinger Bridge is comparable with state-of-the-art GANs, suggesting a new formulation of generative learning. We demonstrate its usefulness in image interpolation and image inpainting.

研究の動機と目的

• 尤度ベースモデルおよび暗黙的モデルにおける、実験的成果と理論的整合性のギャップを解消すること。
• 対数凸性や対数ソボレフ不等式といった強い仮定を必要としない理論的根拠に基づく生成モデリング手法の開発。
• モード崩壊を引き起こす一般的な GAN の失敗を回避し、マルチモーダルな分布の安定学習を可能にすること。
• まずターゲット分布の平滑化版を学習し、その後に真のデータ分布に一致させる二段階のアルゴリズムの提案。
• 画像補間および穴埋めタスクを通じて実用的有効性を示し、最先端の GAN と同等の性能を示すこと。

提案手法

• Kullback-Leibler 散発を用いて、参照分布とターゲット分布の間のエントロピー補間として生成学習を定式化する。
• 時間依存のドリフト項を持つ [0,1] 上の確率的微分方程式（SDE）を用いて、母集団レベルの解を特徴づける。
• 標本レベルでは、深層スコア推定器と深層密度比推定器を用いてドリフトを近似し、Euler-Maruyama 法を実装する。
• 二段階の訓練手順を採用：まずターゲット分布の平滑化版を学習し、その後に真の分布に一致させる。
• スコア関数を推定するためのスコアネットワークと、密度比を推定するための残差ネットワークを用い、適切な正規化とデータ前処理を施す。
• 生成後、最終的なノイズ除去ステップを適用して出力サンプルのノイズを低減する。

実験結果

リサーチクエスチョン

• RQ1 シュレーディンガー橋の定式化は、対数凸性といった強い仮定を必要とせず、深層生成モデリングにおいて理論的整合性を達成できるか？
• RQ2 提案された二段階アルゴリズムは、マルチモーダルなデータ分布の学習における安定性と性能をどのように向上させるか？
• RQ3 CIFAR-10 や CelebA のようなベンチマークデータセットにおいて、シュレーディンガー橋アプローチは最先端の GAN と同等またはそれを上回る性能を達成できるか？
• RQ4 ノイズレベルや時間パラメータの違いが、生成サンプルの品質に与える影響は何か？
• RQ5 画像補間や画像穴埋めといった下流タスクにおいて、この手法の有効性はどの程度か？

主な発見

• 提案されたシュレーディンガー橋アプローチは、やや弱い滑らかさの仮定の下で理論的整合性を達成し、ターゲット分布への収束を保証する。
• σ²=2.0 の CIFAR-10 において、τ=3.5 のとき、Frechet Inception Distance（FID）は 12.45、Inception Score は 7.98 を達成した。
• σ²=5.0 の場合、τ=8.0 のとき FID は 15.41、Inception Score は 7.59 に達し、ノイズスケールにわたる頑健な性能を示した。
• モード崩壊を引き起こさずにマルチモーダルな合成分布を学習できたが、これは GAN がこのような状況でしばしば失敗するのとは対照的である。
• 画像補間および穴埋めの結果から、手法の実用的有効性と一般化能力が示された。
• 最終的なノイズ除去ステップにより、生成画像の残余ノイズが顕著に低減され、サンプル品質が著しく向上した。