[論文レビュー] Asymptotic Guarantees for Generative Modeling Based on the Smooth Wasserstein Distance

Ziv Goldfeld, Kristjan Greenewald+1 more|arXiv (Cornell University)|Feb 3, 2020

Generative Adversarial Networks and Image Synthesis参考文献 83被引用数 7

ひとこと要約

本稿は、最小平滑 Wasserstein 評価統計量（MSWE）を用いた生成モデルの漸近的保証を確立する。MSWE は平滑 1-Wasserstein 距離（SWD）を活用し、次元の呪いを克服する。推定量の可測性、強収束性を証明し、任意次元においてパrameter 評価と最小距離の両方の収束速度が $O(n^{-1/2})$ であることを導出。これにより、次元に依存しない一般化境界が可能となる。

ABSTRACT

Minimum distance estimation (MDE) gained recent attention as a formulation of (implicit) generative modeling. It considers minimizing, over model parameters, a statistical distance between the empirical data distribution and the model. This formulation lends itself well to theoretical analysis, but typical results are hindered by the curse of dimensionality. To overcome this and devise a scalable finite-sample statistical MDE theory, we adopt the framework of smooth 1-Wasserstein distance (SWD) $\mathsf{W}_1^{(σ)}$. The SWD was recently shown to preserve the metric and topological structure of classic Wasserstein distances, while enjoying dimension-free empirical convergence rates. In this work, we conduct a thorough statistical study of the minimum smooth Wasserstein estimators (MSWEs), first proving the estimator's measurability and asymptotic consistency. We then characterize the limit distribution of the optimal model parameters and their associated minimal SWD. These results imply an $O(n^{-1/2})$ generalization bound for generative modeling based on MSWE, which holds in arbitrary dimension. Our main technical tool is a novel high-dimensional limit distribution result for empirical $\mathsf{W}_1^{(σ)}$. The characterization of a nondegenerate limit stands in sharp contrast with the classic empirical 1-Wasserstein distance, for which a similar result is known only in the one-dimensional case. The validity of our theory is supported by empirical results, posing the SWD as a potent tool for learning and inference in high dimensions.

研究の動機と目的

• 生成モデルの最小距離推定（MDE）における次元の呪いを解消する。これは、Wasserstein 距離や f-発散などの標準的統計的距離が直面する問題である。
• 高次元設定でもスケーラブルかつ有効なままの有限標本統計理論を MDE に開発する。
• 最小平滑 Wasserstein 評価統計量（MSWE）の理論的保証を確立する—可測性、一貫性、極限分布。
• 任意次元において有効な、平滑 Wasserstein 距離に基づく生成モデルの一般化境界を $O(n^{-1/2})$ のオーダーで導出する。

提案手法

• 本稿は、分散 $\sigma^2$ の等方的ガウス分布と畳み込んだデータ分布とモデル分布の間の 1-Wasserstein 距離である平滑 1-Wasserstein 距離 ($\mathsf{W}_{1}^{(\sigma)}$) を採用する。
• 推定量 $\widehat{\theta}_n = \mathop{\mathrm{argmin}}_{\theta \in \Theta} \mathsf{W}_{1}^{(\sigma)}(P_n, Q_\theta)$ の可測性および強収束性を証明する。
• 高次元における極限分布に関する新規結果を導出し、$\sqrt{n}\,\mathsf{W}_{1}^{(\sigma)}(P_n, P)$ の漸近正規性を可能にする。
• SWD を 1-Lipschitz 関数でインデックス付けられた経験プロセスの上界として表現するために、Kantorovich-Rubinstein 双対性を用いる。
• 理論的結果は、合成データ上での経験的検証により裏付けられ、SWD の収束およびパrameter 評価の極限分布が確認されている。

実験結果

リサーチクエスチョン

• RQ1 平滑 1-Wasserstein 距離は、次元の呪いを回避する有限標本統計理論を MDE に提供できるか？
• RQ2 高次元における最小平滑 Wasserstein 評価統計量の漸近的性質（一貫性および極限分布）は何か？
• RQ3 平滑 Wasserstein 距離は、任意次元において $O(n^{-1/2})$ のオーダーの一般化境界を可能にするか？
• RQ4 高次元における $\sqrt{n}\,\mathsf{W}_{1}^{(\sigma)}(P_n, P)$ の極限分布は、古典的経験的 1-Wasserstein 距離とはどのように異なるか？

主な発見

• 最小平滑 Wasserstein 評価統計量 $\widehat{\theta}_n$ は可測であり、ほとんど確実に真のパrameter $\theta^\star$ に収束する。
• パrameter 評価の極限分布 $\sqrt{n}(\widehat{\theta}_n - \theta^\star)$ は高次元でも非退化であり、古典的 Wasserstein 距離とは異なり、高次元においても成立する。
• 最小平滑 Wasserstein 距離 $\sqrt{n}\,\mathsf{W}_{1}^{(\sigma)}(P_n, Q_{\widehat{\theta}_n})$ は $O(n^{-1/2})$ のレートで分布収束する。
• 本稿は、任意次元において有効な、MSWE を用いた生成モデルの一般化境界を $O(n^{-1/2})$ のオーダーで確立する。
• 経験的結果は理論的収束速度を確認し、SWD フレームワーク下でのパrameter 評価の極限正規性を裏付けている。