[論文レビュー] Optimal Transport: Fast Probabilistic Approximation with Exact Solvers

Max Sommerfeld, Jörn Schrieber+2 more|arXiv (Cornell University)|Feb 14, 2018

Markov Chains and Monte Carlo Methods参考文献 37被引用数 13

ひとこと要約

この論文は、有限の距離空間上の最適輸送距離を正確なソルバをブラックボックスバックエンドとして使用して近似する、高速でランダムなサブサンプリング方式を提案する。多くの場合、特に2次元画像において、問題のサイズに依存しない誤差バウンドを達成しており、正確な手法と比較して計算時間が桁違いに速くなる一方で、非漸近的集中不等式によって高い精度を維持することができる。

ABSTRACT

We propose a simple subsampling scheme for fast randomized approximate computation of optimal transport distances. This scheme operates on a random subset of the full data and can use any exact algorithm as a black-box back-end, including state-of-the-art solvers and entropically penalized versions. It is based on averaging the exact distances between empirical measures generated from independent samples from the original measures and can easily be tuned towards higher accuracy or shorter computation times. To this end, we give non-asymptotic deviation bounds for its accuracy in the case of discrete optimal transport problems. In particular, we show that in many important instances, including images (2D-histograms), the approximation error is independent of the size of the full problem. We present numerical experiments that demonstrate that a very good approximation in typical applications can be obtained in a computation time that is several orders of magnitude smaller than what is required for exact computation of the full problem.

研究の動機と目的

• 画像解析や機械学習のような大規模応用における正確な最適輸送計算の高コストを緩和すること。
• 任意の正確な最適輸送ソルバをブラックボックスとして利用可能な汎用的で高速な近似スキームを開発すること。
• 特に2次元ヒストограмのような重要なケースにおいて、問題サイズに依存しない近似誤差の非漸近的バウンドを示すこと。
• 正確な手法が実行時間制約により実行不可能な状況において、実用的な最適輸送距離の計算を可能にすること。

提案手法

• ソースおよびターゲット測度のi.i.d.サブサンプリングにより、その経験的分布を生成し、任意の正確なソルバを用いてその最適輸送距離を正確に計算する。
• 最終的な近似値は、独立なサンプルに対して複数回計算された距離の平均値である。
• 集中不等式および Wasserstein 距離のリプシッツ連続性を活用して、非漸近的誤差バウンドを導出する。
• 調整可能なスキームである：サンプル数を増やすことで精度が向上するが、実行時間は長くなる。
• 理論的分析により、期待誤差が $ S^{-1/(2p)} $ のオーダーで減少することが示された。ここで $ S $ は各測度ごとのサンプルサイズである。
• 画像データを用いた数値的検証により、正確なソルバと比較して複数桁の高速化を達成しながら、最小限の誤差で高い精度を実現した。

実験結果

リサーチクエスチョン

• RQ1 ランダムなサブサンプリング方式は、計算時間を複数桁短縮しつつ、正確な最適輸送近似を達成できるか？
• RQ2 2次元画像ヒストограмのような実用的状況において、近似誤差が常に有界であり、全問題サイズに依存しないか？
• RQ3 サブサンプリング下での Wasserstein 距離に対して、非漸近的集中不等式をどのように導出し、信頼性のある誤差制御を可能にするか？
• RQ4 既存の正確な最適輸送ソルバを、スケーラブルな近似フレームワークにおいてブラックボックスコンponentとしてどれほど再利用できるか？

主な発見

• 提案手法の近似誤差は $ \mathcal{O}(S^{-1/(2p)}) $ のオーダーで減少し、$ S $ は各測度ごとのサンプル数である。多くの場合、特に2次元画像において、全問題サイズに依存しない。
• 2次元ヒストограмでは、ピクセル数に比例して誤差バウンドが拡大しないため、大規模な画像に対しても高速な計算が可能である。
• 数値実験により、正確なソルバと比較して、計算時間が複数桁短縮されながらも高い精度を達成した。
• 輸送コスト不等式およびリプシッツ連続性に基づく集中不等式を用いて、強い理論的保証を維持した。
• 期待二乗誤差は $ 18\mathcal{E}_{q}^{2/p} S^{-1/p} $ で有界であり、$ \mathcal{E}_{q} $ は基礎的な距離に依存する問題固有の定数である。
• 本スキームは頑健で汎用的であり、任意の正確な最適輸送ソルバと組み合わせられ、サンプルサイズの調整により速度と精度のトレードオフを制御可能である。