[論文レビュー] Asymptotic Guarantees for Learning Generative Models with the Sliced-Wasserstein Distance

Kimia Nadjahi, Alain Durmus+2 more|arXiv (Cornell University)|Jun 11, 2019

Generative Adversarial Networks and Image Synthesis被引用数 10

ひとこと要約

本論文は、生成モデルにおけるスライスド・ウォッシャーテイン（SW）距離に基づく最小期待距離推定量について、初めての漸近的理論的保証を確立した。SW最小化が√n収束率を伴い、漸近的に一致する推定量をもたらすことを証明し、中心極限定理を導出し、その実用的成功にもかかわらずSWを深層生成モデルに用いる正当性を裏付けた。

ABSTRACT

Minimum expected distance estimation (MEDE) algorithms have been widely used for probabilistic models with intractable likelihood functions and they have become increasingly popular due to their use in implicit generative modeling (e.g. Wasserstein generative adversarial networks, Wasserstein autoencoders). Emerging from computational optimal transport, the Sliced-Wasserstein (SW) distance has become a popular choice in MEDE thanks to its simplicity and computational benefits. While several studies have reported empirical success on generative modeling with SW, the theoretical properties of such estimators have not yet been established. In this study, we investigate the asymptotic properties of estimators that are obtained by minimizing SW. We first show that convergence in SW implies weak convergence of probability measures in general Wasserstein spaces. Then we show that estimators obtained by minimizing SW (and also an approximate version of SW) are asymptotically consistent. We finally prove a central limit theorem, which characterizes the asymptotic distribution of the estimators and establish a convergence rate of $\\sqrt{n}$, where $n$ denotes the number of observed data points. We illustrate the validity of our theory on both synthetic data and neural networks.

研究の動機と目的

• 暗黙的生成モデルにおけるスライスド・ウォッシャーテイン（SW）距離を用いた最小期待距離推定量の厳密な理論的基盤を確立すること。
• 標本サイズが増加する際にSW最小化が一貫したパrameter推定量をもたらすかどうかを調査すること。
• SWに基づく推定量の漸近的分布を特定し、収束速度を同定すること。
• 合成データおよびニューラルネットワークを用いた理論的結果の実証的検証。

提案手法

• ウォッシャーテイン空間における確率測度の弱収束を示すSW距離における収束の理論的分析。
• 正確版および近似版のスライスド・ウォッシャーテイン距離の両方について、漸近的一致性の証明。
• SWに基づく推定量の中心極限定理の導出により、√n収束率の確立。
• 最小期待距離推定における扱いにくい期待値を置き換えるためにモンテカルロ近似の使用。
• 単位球面上へのランダム射影を介して、1次元ウォッシャーテイン距離の平均としてSW距離を応用。
• Ganを用いた合成ガウス分布および安定分布、および深層生成モデルを用いた実証的検証。

実験結果

リサーチクエスチョン

• RQ1 スライスド・ウォッシャーテイン距離を最小化することは、生成モデルの漸近的一致する推定量をもたらすか？
• RQ2 スライスド・ウォッシャーテイン最小化によって得られる推定量の漸近的分布は何か？
• RQ3 標本サイズnの関数としてSWに基づく推定量の収束速度は何か？
• RQ4 スライスド・ウォッシャーテイン距離の近似版は、漸近的性質にどのように影響を与えるか？
• RQ5 SWに基づく推定の理論的保証は、実用的な深層生成モデルの設定でも検証可能か？

主な発見

• スライスド・ウォッシャーテイン距離における収束は、一般のウォッシャーテイン空間における確率測度の弱収束を意味する。
• 正則性条件の下で、スライスド・ウォッシャーテイン距離を最小化して得られる推定量は漸近的に一貫する。
• スライスド・ウォッシャーテイン距離の近似版に対しても、漸近的に一貫する推定量が得られる。
• 中心極限定理が確立され、推定量の漸近的分布が正規分布であり、√n収束率を示すことがわかった。
• 合成データおよびニューラルネットワークの実験において、理論的収束速度√nが実証的に検証された。
• 理論的枠組みが、楕円対称分布および高次元の実データ（GANを用いて）に対しても成立することが示された。