[論文レビュー] Minimax Distribution Estimation in Wasserstein Distance

Shashank Singh, Barnabás Póczos|arXiv (Cornell University)|Feb 24, 2018

Point processes and geometric inequalities参考文献 60被引用数 29

ひとこと要約

この論文は、唯一の度量構造（被覆・包摂数）とモーメント条件に基づき、Wasserstein距離損失の下での非パラメトリック分布推定のミニマックス最適レートを確立する。通常、経験分布がミニマックスレート最適であることを証明し、一般化された先行研究を拡張するタイトな上界・下界を提示し、本問題に対する最初のミニマックス下界を確立する。

ABSTRACT

The Wasserstein metric is an important measure of distance between probability distributions, with applications in machine learning, statistics, probability theory, and data analysis. This paper provides upper and lower bounds on statistical minimax rates for the problem of estimating a probability distribution under Wasserstein loss, using only metric properties, such as covering and packing numbers, of the sample space, and weak moment assumptions on the probability distributions.

研究の動機と目的

• Wasserstein距離損失の下での確率分布推定のミニマックス収束レートを特定すること。
• 標本空間の度量的性質とモーメント条件のみを用いて、推定誤差のタイトな上界・下界を導出すること。
• 一般条件下で経験分布がミニマックスレート最適であることを示すこと。
• 全有界性やバナッハ空間構造といった強い仮定を必要とした先行の上界を一般化すること。
• Wasserstein距離における分布推定のための最初のミニマックス下界を確立すること。

提案手法

• 標本空間の被覆数を用いて推定誤差の上界を導出する。
• 包摂数と尾モーメントバウンドを用いてミニマックス下界を確立する。
• 再帰的輸送写像構成を適用して、分布間のWasserstein距離をバウンドする。
• WeedとBach（2017）の結果を一般化し、Wasserstein距離とパーティションに基づく乖離の間の重要な不等式を導出する。
• パーティションの細分化技術を用いて、ネストされたパーティション全体にわたる近似の分解能を制御する。
• ややきつい度量的およびモーメント仮定の下で、経験分布が導出されたミニマックスレートを達成することを証明する。

実験結果

リサーチクエスチョン

• RQ1 一般の度量子空間におけるWasserstein距離損失の下で、分布推定のミニマックス収束レートは何か？
• RQ2 経験分布がWasserstein推定においてミニマックスレート最適であるための条件は何か？
• RQ3 標本空間の被覆数および包摂数は、ミニマックス推定レートにどのように影響するか？
• RQ4 分布のモーメントバウンドは、ミニマックスレートの決定にどのような役割を果たすか？
• RQ5 強いパラメトリックまたは構造的仮定を必要とせずに、Wasserstein分布推定のタイトなミニマックス下界を確立できるか？

主な発見

• 一般の度量的およびモーメント的仮定の下で、経験分布がミニマックスレート収束を達成し、その最適性が確立される。
• 推定誤差の上界は、標本空間の被覆数とモーメントバウンドを用いて導出される。
• 包摂数と尾モーメント条件を用いて下界が確立され、上界のタイトさが証明される。
• ミニマックスレートは、被覆／包摂数による度量的構造と、分布の有限モーメントの数の間の相互作用によって特徴づけられる。
• 全有界性やバナッハ空間構造といったより強い仮定を必要とした先行の上界を一般化する。
• 本研究は、Wasserstein距離における分布推定のミニマックス下界を確立する最初の研究であり、重要な理論的ギャップを埋める。