[論文レビュー] Statistical and Topological Properties of Sliced Probability Divergences

Kimia Nadjahi, Alain Durmus+4 more|arXiv (Cornell University)|Mar 12, 2020

Statistical Mechanics and Entropy参考文献 55被引用数 11

ひとこと要約

本稿は、ベースの発散が距離または積分確率発散である場合、スライシングが距離の公理や弱収束といった主要な幾何的・位相的性質を保持することを証明することで、スライスされた確率発散の理論的基盤を確立する。さらに、スライス発散の標本複雑性が次元に依存しないことを示し、高次元設定における統計的効率性を説明する。

ABSTRACT

The idea of slicing divergences has been proven to be successful when comparing two probability measures in various machine learning applications including generative modeling, and consists in computing the expected value of a `base divergence' between one-dimensional random projections of the two measures. However, the topological, statistical, and computational consequences of this technique have not yet been well-established. In this paper, we aim at bridging this gap and derive various theoretical properties of sliced probability divergences. First, we show that slicing preserves the metric axioms and the weak continuity of the divergence, implying that the sliced divergence will share similar topological properties. We then precise the results in the case where the base divergence belongs to the class of integral probability metrics. On the other hand, we establish that, under mild conditions, the sample complexity of a sliced divergence does not depend on the problem dimension. We finally apply our general results to several base divergences, and illustrate our theory on both synthetic and real data experiments.

研究の動機と目的

• スライスされた確率発散の位相的および統計的性質を理解するための理論的ギャップを埋めること。
• スライシングが多次元設定におけるベース発散の距離および収束性質に与える影響を調査すること。
• スライス発散の標本複雑性を分析し、次元および推定手法への依存関係を特定すること。
• Sliced-Wasserstein や Sliced-Cramér を含むさまざまなベース発散にわたり結果を一般化し、実証的に検証すること。

提案手法

• 1次元の測度における一般化されたベース発散 Δ を定義し、多変量測度のランダム射影を用いてそのスライス版 SΔ を定義する。
• Δ が距離の公理や弱連続性を満たす場合、SΔ がこれらの性質を継承することを証明する。
• Δ が積分確率発散である場合に SΔ を分析し、上界有界性および強い同値性の十分条件を導出する。
• SΔ の標本複雑性が1次元における Δ の標本複雑性に比例し、環境次元 d に依存しないことを確立する。
• 射影の期待値のモンテカルロ近似が与える影響を分析し、高次元において追加の分散項が現れることを特定する。
• 一般化された枠組みを、Sliced-Wasserstein や Sliced-Sinkhorn などの特定の発散に適用し、さまざまな仮定の下で分析する。

実験結果

リサーチクエスチョン

• RQ1 スライシングは、ベース発散の距離および弱連続性の性質を保持するか？
• RQ2 スライス発散がベース発散と位相的に同値となる条件は何か？
• RQ3 スライス発散の標本複雑性は、標本数および次元 d に対してどのようにスケーリングされるか？
• RQ4 射影の期待値のモンテカルロ近似が、スライス発散の統計的性能に与える影響は何か？
• RQ5 この理論的枠組みを用いて、Sliced-Cramér や Sliced-Sinkhorn などの特定発散に対して新たな結果を導出できるか？

主な発見

• ベース発散 Δ が距離である場合、スライス発散 SΔ に対しても距離の公理が保持される。
• Δ での収束が弱収束を意味するのと同様に、SΔ での収束が弱収束を意味するとき、両者の位相的挙動が保存される。
• Δ が積分確率発散である場合、SΔ が Δ によって上界有界であるような十分条件が特定され、これはより弱い位相を示唆する。
• SΔ の標本複雑性は、1次元における Δ の標本複雑性に比例し、環境次元 d に依存しない。
• 射影の期待値がモンテカルロで近似される場合、高次元において追加の分散項が現れ、性能の劣化を引き起こす可能性がある。
• 本稿は、一般仮定の下で Sliced-Wasserstein 距離の最初の標本複雑性結果を導出し、Sliced-Sinkhorn 発散に関する新たな理論的知見を提供する。