[論文レビュー] Wasserstein barycenters can be computed in polynomial time in fixed dimension

Jason M. Altschuler, Enric Boix-Adserà|arXiv (Cornell University)|Jun 14, 2020

Advanced Numerical Analysis Techniques被引用数 10

ひとこと要約

本稿では、任意の固定次元における Wasserstein バリオセントラの計算のための最初の多項式時間アルゴリズムを提示する。候補となるサポート点の指数的複雑性を、重み付き距離に基づくパワーダイアグラムと計算幾何学に依存する幾何的分離オラクルによって克服した。本手法は精度に多項式対数的依存性を達成し、固定次元において初めて機械精度に正確に計算可能となった。

ABSTRACT

Computing Wasserstein barycenters is a fundamental geometric problem with widespread applications in machine learning, statistics, and computer graphics. However, it is unknown whether Wasserstein barycenters can be computed in polynomial time, either exactly or to high precision (i.e., with $\ extrm{polylog}(1/\\varepsilon)$ runtime dependence). This paper answers these questions in the affirmative for any fixed dimension. Our approach is to solve an exponential-size linear programming formulation by efficiently implementing the corresponding separation oracle using techniques from computational geometry.

研究の動機と目的

• 固定次元における Wasserstein バリオセントラが、正確にまたは高精度に多項式時間で計算可能かどうかという未解決問題を解消すること。
• バリオセントラの候補となるサポート点の数が $ n^k $ に指数的になる問題を、幾何的構造を効果的に活用して探索空間を削減すること。
• 固定サポート近似を避けるフリー・サポートのアルゴリズムを開発すること。固定サポート近似は $ (R/ε)^d $ 個の点を必要とし、擬似多項式時間の実行時間を引き起こす。
• 標準的な仮定の下で、$ \mathrm{poly}(n,k,\log(R/\varepsilon)) $ 時間で実行可能な、証明可能に効率的なアルゴリズムを提供すること。このアルゴリズムは、ヒューリスティック的または近似に基づくサポート選択に依存せず、高精度の解を得る。

提案手法

• Wasserstein バリオセントラ問題を、マルチマージナル最適輸送（MOT）に関する指数的サイズの線形計画問題（LP）として定式化する。
• 双対 LP の分離オラクルの解法に帰着することで問題を簡略化する。このオラクルは、与えられた解がどの制約も違反していないかを確認する。
• 入力点からの重み付き距離に基づいて空間を分割する幾何的構造であるパワーダイアグラムを用いて、分離オラクルを効率的に実装する。
• 計算幾何学の技術を活用してパワーダイアグラムのセルを計算し、最適なバリオセントラのサポート点を多項式時間で同定する。
• 二乗ユークリッド距離コストを $ \ell_1 $、$ \ell_2 $、または $ \ell_\infty $ の基底度量に置き換えることで、$ 1 $-Wasserstein 距離（Earth Mover’s Distance）に適応する。この場合、パワーダイアグラムの代わりに $ c $-ダイアグラムを用いる。
• 標準的な基底度量に関する仮定の下で、すべての幾何的操作（評価、中央値計算、セル列挙）が多項式時間で実行可能であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 固定次元において、Wasserstein バリオセントラは正確かつ高精度に多項式時間で計算可能か？
• RQ2 精度 $ 1/\varepsilon $ に依存する擬似多項式時間に陥る固定サポート近似を回避することは可能か？
• RQ3 幾何的構造を用いて、指数的数の候補サポート点（$ n^k $）を効率的に削減できるか？
• RQ4 バリオセントラ LP 定式化のための分離オラクルは、計算幾何学を用いて多項式時間で実装可能か？
• RQ5 本手法は、$ \ell_1 $、$ \ell_2 $、または $ \ell_\infty $ 基底度量を用いる $ 1 $-Wasserstein の幾何的中央値問題へも同様の効率的保証とともに拡張可能か？

主な発見

• 本稿では、任意の固定次元 $ d $ に対して、$ \mathrm{poly}(n,k,\log(R/\varepsilon)) $ 時間で Wasserstein バリオセントラを計算する最初のアルゴリズムを提示する。精度 $ \varepsilon $ に対して多項式対数的依存性を達成した。
• 本アルゴリズムは多項式時間で正確なバリオセントラを計算可能であり、マルチマージナル最適輸送および幾何的データ解析分野における未解決問題を解決した。
• 本手法は、$ (R/\varepsilon)^d $ 個の点を必要とする固定サポート近似を回避し、パワーダイアグラムに基づく幾何的分離オラクルを採用している。
• 同様の実行時間保証を有するため、$ \ell_1 $、$ \ell_2 $、または $ \ell_\infty $ 基底度量を用いる $ 1 $-Wasserstein の幾何的中央値問題へも拡張可能である。
• 解のサポートサイズは最大で $ nk - k + 1 $ であり、事前に考慮される $ n^k $ 個の候補点と比べて顕著に小さい。
• 本アルゴリズムは、$ 1/\varepsilon $ に多項式依存する既存手法とは異なり、機械精度にまで高精度計算を可能にした。