[論文レビュー] Estimation of smooth densities in Wasserstein distance

Jonathan Weed, Quentin Berthet|arXiv (Cornell University)|Feb 5, 2019

Geometric Analysis and Curvature Flows被引用数 38

ひとこと要約

この論文は、 Wasserstein 距離における滑らかな密度を推定するための最初のミニマックス最適レートを確立し、密度の正則性が次元の呪いを軽減することを示している。著者らは、Wasserstein 距離とBesovノルムの間の新しい境界を導入することで、改善された収束レートを導出し、計算的に効率的な、離散的に支持された近似を構築した。

ABSTRACT

The Wasserstein distances are a set of metrics on probability distributions supported on $\mathbb{R}^d$ with applications throughout statistics and machine learning. Often, such distances are used in the context of variational problems, in which the statistician employs in place of an unknown measure a proxy constructed on the basis of independent samples. This raises the basic question of how well measures can be approximated in Wasserstein distance. While it is known that an empirical measure comprising i.i.d. samples is rate-optimal for general measures, no improved results were known for measures possessing smooth densities. We prove the first minimax rates for estimation of smooth densities for general Wasserstein distances, thereby showing how the curse of dimensionality can be alleviated for sufficiently regular measures. We also show how to construct discretely supported measures, suitable for computational purposes, which enjoy improved rates. Our approach is based on novel bounds between the Wasserstein distances and suitable Besov norms, which may be of independent interest.

研究の動機と目的

• Wasserstein 距離下での滑らかな密度推定におけるミニマックスレートのギャップを解消すること、特に正則な測度に関して。
• 密度の滑らかさがWasserstein推定における次元の呪いを軽減することを示すこと。
• 計算用途に適した、改善された収束レートを維持する離散的に支持された測度の構築。
• Wasserstein距離とBesovノルムの間の新しい境界を用いた理論的基盤の確立。

提案手法

• Wasserstein距離とBesovノルムを結ぶ新しい理論的境界を導出し、推定誤差をより厳密に制御可能にする。
• これらの境界を用いて、一般のWasserstein距離における滑らかな密度のミニマックスリスクを分析する。
• 量子化またはサンプリング戦略を用いて、真の測度の離散的に支持された近似を構築し、収束レートを保持する。
• 密度の正則性を活用して、一般の測度と比較して改善されたレートを導出する。
• 変分推論の原則を応用して、未知の測度を経験的プロキシに置き換え、それらの収束をWasserstein距離で分析する。
• 関数解析および最適輸送の道具を用いて、滑らかさと近似誤差のトレードオフを特徴付ける。

実験結果

リサーチクエスチョン

• RQ1 一般の測度と比較して、滑らかな密度のWasserstein距離における改善されたミニマックスレートが達成可能か。
• RQ2 密度の滑らかさが、そのWasserstein近似の収束レートにどのように影響するか。
• RQ3 離散的に支持された測度において、近似精度と計算効率の最適なトレードオフは何か。
• RQ4 Wasserstein距離とBesovノルムの間の新規な境界が、より厳密な推定誤差制御を可能にするか。
• RQ5 密度の正則性が、Wasserstein推定における次元の呪いをどの程度軽減するか。

主な発見

• 本論文は、一般のWasserstein距離における滑らかな密度推定のための最初のミニマックス最適レートを確立し、一般の測度と比較して収束が改善されることを示した。
• 密度の滑らかさにより、有効次元が著しく低減され、次元の呪いが緩和される。
• Wasserstein距離とBesovノルムの間の新規な境界が導出され、独立した理論的関心を有する。
• 連続的近似と同等の改善されたレートを達成することができる離散的に支持された測度を構築可能であり、実用的計算が可能である。
• レートは密度の滑らかさと次元に依存し、より高い正則性では収束が速くなる。
• 結果は、一般の測度に対して経験的測度がレート最適であるが、滑らかさの仮定のもとではより良いレートが得られることを示している。