[論文レビュー] Randomised Wasserstein Barycenter Computation: Resampling with Statistical Guarantees

Florian Heinemann, Axel Munk+1 more|arXiv (Cornell University)|Dec 11, 2020

Topological and Geometric Data Analysis参考文献 63被引用数 4

ひとこと要約

本稿では、非漸近的誤差バウンドを備えた確率的リサンプリング手法を提案し、計算コストと統計的精度のバランスをとった大規模データセットにおける Wasserstein バリオセントラの計算を実現する。この手法は任意の正確なソルバとリサンプリングを組み合わせることで、次元に依存しない最適な誤差率を達成する。実験では、現在の最先端技術では到達できないシミュレート済みおよび実際の顕微鏡画像データ上でも有効であることが示された。

ABSTRACT

We propose a hybrid resampling method to approximate finitely supported Wasserstein barycenters on large-scale datasets, which can be combined with any exact solver. Nonasymptotic bounds on the expected error of the objective value as well as the barycenters themselves allow to calibrate computational cost and statistical accuracy. The rate of these upper bounds is shown to be optimal and independent of the underlying dimension, which appears only in the constants. Using a simple modification of the subgradient descent algorithm of Cuturi and Doucet, we showcase the applicability of our method on a myriad of simulated datasets, as well as a real-data example from cell microscopy which are out of reach for state of the art algorithms for computing Wasserstein barycenters.

研究の動機と目的

• 大規模データセットにおける Wasserstein バリオセントラ計算の計算的非実行可能性を解消するため、統計的保証を伴うリサンプリングフレームワークを導入すること。
• 目的関数値およびバリオセントラ自体の非漸近的誤差バウンドを提供することで、計算負荷と統計的精度の調整を可能にすること。
• 従来のアルゴリズムが失敗する高次元で複雑なデータ、例えば細胞顕微鏡画像のようなデータへの適用可能性を示すこと。
• 誤差率が最適であり、環境次元に依存しないこと、次元は定数にしか影響しないこと。

提案手法

• 本手法は、統計的精度を保ちながらデータ測度を部分的にサンプリングすることで、有限に支持された Wasserstein バリオセントラを近似するハイブリッドリサンプリング方式を導入する。
• 任意の正確なバリオセントラソルバと確率的リサンプリング戦略を組み合わせることで、計算コストを低減しつつ理論的誤差バウンドを維持する。
• 目的関数値およびバリオセントラの期待誤差に対する非漸近的上界が導出され、次元に依存しない最適な収束レートであることが示された。
• Cuturi と Doucet が提案した修正された部分勾配降下法を活用し、大規模データセット上でバリオセントラを効率的に計算する。
• 理論的分析により、誤差バウンドが最小比（コスト差分と最適集合からの距離の比）から導かれる定数 $ C_P $ に依存することが示され、正の値を保証し収束性を確保する。
• 輸送計画間の $ L^1 $-距離と全変動距離および Wasserstein 距離との関係を活用し、$ W_p^p(\mu, \mu^*) $ を用いた誤差の定量化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 大規模データセット上で Wasserstein バリオセントラを理論的誤差保証とともに近似できる確率的リサンプリング手法を設計できるか？
• RQ2 目的関数値およびバリオセントラの期待誤差の最適収束レートは何か？また、環境次元に依存するか？
• RQ3 既存の正確なソルバと組み合わせることで、正確性を維持しながら計算コストを低減できるか？
• RQ4 細胞顕微鏡画像のような現実世界の高次元データに対して、最先端のアルゴリズムと比較して本手法はどのように性能を発揮するか？
• RQ5 導出された誤差バウンドはタイトか？最小限の仮定のもとで最適レートに達しているか？

主な発見

• 提案手法は、期待される目的関数値およびバリオセントラにおける非漸近的誤差バウンドを達成しており、これらは最適かつ元の次元に依存しない。次元は定数にしか影響しない。
• 誤差率が最適であることが示され、バウンドは最適な輸送計画集合からの距離とコスト差分の最小比から導かれる正の定数 $ C_P $ に依存する。
• 本手法により、現在の最先端アルゴリズムでは計算的に非現実的とされるデータセット、例えば実際の顕微鏡画像データ上でも Wasserstein バリオセントラの計算が可能になる。
• 修正された部分勾配降下法が、大規模なシミュレート済みおよび実際のデータセットに成功裏に適用され、実用的なスケーラビリティが実証された。
• 理論的分析により、輸送計画間の $ L^1 $-距離が Wasserstein 距離を下界で抑え、全変動距離を用いた誤差のタイトな制御が可能であることが確認された。
• 定数 $ C_P $ の正の値が厳密に確立され、誤差バウンドが空虚ではなく収束解析に意味を持つことが保証された。