[論文レビュー] Deep Generative Learning via Schr\"{o}dinger Bridge

Gefei Wang, Yuling Jiao+3 more|arXiv (Cornell University)|Jun 19, 2021

Generative Adversarial Networks and Image Synthesis参考文献 58被引用数 4

ひとこと要約

本稿では、エントロピー最小化を用いて参照分布とターゲット分布の間を補間するための、シュレーディンガー・ブリッジフレームワークを用いた深層生成モデル手法を提案する。深層スコアおよび密度比モデルを用いて時変のドリフトを推定し、Euler–Maruyamaスキームを適用することで、ターゲット分布への一貫性のある収束を達成する。実験結果では、画像生成、補間、穴埋めのタスクにおいて、最先端のGANと競合する性能を示している。

ABSTRACT

We propose to learn a generative model via entropy interpolation with a Schrodinger Bridge. The generative learning task can be formulated as interpolating between a reference distribution and a target distribution based on the KullbackLeibler divergence. At the population level, this entropy interpolation is characterized via an SDE on [0, 1] with a time-varying drift term. At the sample level, we derive our Schrodinger Bridge algorithm by plugging the drift term estimated by a deep score estimator and a deep density ratio estimator into the Euler-Maruyama method. Under some mild smoothness assumptions of the target distribution, we prove the consistency of both the score estimator and the density ratio estimator, and then establish the consistency of the proposed Schrodinger Bridge approach. Our theoretical results guarantee that the distribution learned by our approach converges to the target distribution. Experimental results on multimodal synthetic data and benchmark data support our theoretical findings and indicate that the generative model via Schrodinger Bridge is comparable with state-of-the-art GANs, suggesting a new formulation of generative learning. We demonstrate its usefulness in image interpolation and image inpainting.

研究の動機と目的

• 参照分布とターゲット分布の間のエントロピー補間に基づく理論的裏付けのある深層生成モデルの構築を目的とする。
• 時変ドリフトを有するシュレーディンガー・ブリッジ過程として定式化することで、複雑なターゲット分布の学習という課題に取り組む。
• ターゲット分布の滑らかさに関する弱い仮定のもとで、学習された生成モデルの一貫性を保証する。
• 本手法の有効性を、画像補間および画像穴埋めタスクにおいて実証し、合成データを超えた実用的有用性を示す。

提案手法

• 生成学習タスクを、時刻Tにおける補間過程とターゲット分布との間のKullback–Leibler発散を最小化する問題として定式化する。
• シュレーディンガー・ブリッジフレームワークから導かれる時変ドリフト項を有する、区間[0,1]における確率的微分方程式（SDE）として補間過程をモデル化する。
• ターゲットデータ分布上で学習された深層スコア推定器を用いてドリフト項を推定する。
• 同時に、ターゲット分布と参照分布の間の密度比を深層ニューラルネットワークを用いて推定する。
• 推定されたドリフト項および拡散項を用いて、SDEのEuler–Maruyama離散化を実装し、サンプルを生成する。
• 勾配ベース最適化を用いて、KL発散の最小化を目的関数とするスコアおよび密度比推定器をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークベースの推定器を用いて、シュレーディンガー・ブリッジフレームワークを深層生成モデリングに効果的に適応できるか？
• RQ2 ターゲット密度に対する弱い滑らかさ仮定のもとで、本手法がターゲット分布への一貫性のある収束を達成できるか？
• RQ3 標準ベンチマークにおいて、シュレーディンガー・ブリッジ生成モデルの性能は、最先端のGANと比べてどうか？
• RQ4 本手法は、画像補間や画像穴埋めといった下流タスクに成功裏に応用できるか？

主な発見

• 提案手法であるシュレーディンガー・ブリッジ法は、ターゲット密度に対する弱い滑らかさ仮定のもとで、ターゲット分布への一貫性のある収束を達成する。
• 深層スコア推定器および密度比推定器が一貫性を持つことが証明されており、全体の手法の統計的信頼性を保証する。
• 多モードの合成データに対する実験結果から、フレームワークの理論的収束特性が確認される。
• ベンチマークデータセット上では、サンプルの質と多様性の両面で、最先端のGANと同等の生成性能を達成する。
• 画像補間および画像穴埋めにおいて、本手法は優れた性能を示し、標準的な生成タスクを超えた実用的有用性を強調する。