[論文レビュー] On Robust Optimal Transport: Computational Complexity and Barycenter Computation

Khang Le, Huy Hoang Nguyen+4 more|arXiv (Cornell University)|Feb 13, 2021

Markov Chains and Monte Carlo Methods参考文献 37被引用数 4

ひとこと要約

本稿では、周辺制約のKL発散による緩和を用いたロバスト最適輸送（ROT）を提案し、Sinkhornに基づくアルゴリズムによる高速計算を可能にした。計算複雑度は Õ(n²/ε) である。また、ロバストIBPを導入し、m=2の場合に Õ(mn²/ε) の改善された複雑度を達成した。従来手法を上回り、データの汚染下でも効率的かつロバストな生成モデル作成とドメイン適応を可能にした。

ABSTRACT

We consider robust variants of the standard optimal transport, named robust optimal transport, where marginal constraints are relaxed via Kullback-Leibler divergence. We show that Sinkhorn-based algorithms can approximate the optimal cost of robust optimal transport in $\widetilde{\mathcal{O}}(\frac{n^2}{\varepsilon})$ time, in which $n$ is the number of supports of the probability distributions and $\varepsilon$ is the desired error. Furthermore, we investigate a fixed-support robust barycenter problem between $m$ discrete probability distributions with at most $n$ number of supports and develop an approximating algorithm based on iterative Bregman projections (IBP). For the specific case $m = 2$, we show that this algorithm can approximate the optimal barycenter value in $\widetilde{\mathcal{O}}(\frac{mn^2}{\varepsilon})$ time, thus being better than the previous complexity $\widetilde{\mathcal{O}}(\frac{mn^2}{\varepsilon^2})$ of the IBP algorithm for approximating the Wasserstein barycenter.

研究の動機と目的

• データの外れ値下での標準的最適輸送の計算非効率性とロバスト性の欠如に対処すること。
• KL発散を用いた周辺制約の緩和により、ロバスト最適輸送を形式化し、ノイズや汚染されたデータに対する安定性を向上させること。
• 従来手法より改善された計算複雑度を達成する、スケーラブルなロバストバリアンツ計算アルゴリズムの開発。
• データ汚染下での生成モデル作成とドメイン適応におけるロバスト最適輸送の実用的利点を示すこと。
• ロバストOTおよびロバストバリアンツ計算の理論的複雑度バウンズを確立し、従来のSinkhornおよびIBPベースの手法よりも改善されていることを示すこと。

提案手法

• 部分的周辺制約緩和とKL発散による完全緩和の2つのロバスト最適輸送の変種を提案し、外れ値に対してロバストであるようにした。
• SinkhornアルゴリズムをロバストOT定式化に適応し、時間計算量 Õ(n²/ε) を達成した。これは標準OTの Õ(n²/ε²) よりも高速であり、UOTの複雑度と一致する。
• 固定サポートのロバストバリアンツを計算するためのロバストIBPアルゴリズムを導入。イテレーティブBregman射影のアイデアを踏まえつつ、ロバストな定式化に適合させた。
• 低ランク近似（Nyström法）を活用して行列-ベクトル演算を高速化し、ランクrの近似において計算複雑度を Õ(nr² + nr/ε) に低減した。
• エンタロピー正則化とイテレーティブ射影技術を用いて、バリアンツ計算における収束性と数値的安定性を確保した。
• 生成モデル作成において、k回のSinkhorn更新を用いてロバストな発散（例：RSD）を近似し、データ汚染に対してロバストなエンドツーエンド学習を可能にした。

実験結果

リサーチクエスチョン

• RQ1 KL発散による緩和を用いたロバスト最適輸送は、標準的最適輸送よりも効率的に計算可能か？
• RQ2 ロバスト最適輸送にSinkhornベースのアルゴリズムを適用した場合の計算複雑度は何か？また、低ランク近似を用いることで改善可能か？
• RQ3 イテレーティブBregman射影（IBP）フレームワークは、古典的IBPよりも優れた複雑度を達成するロバストバリアンツを計算するために適合可能か？
• RQ4 ロバスト最適輸送は、データ汚染下での生成モデル作成において性能をどのように向上させるか？
• RQ5 提案されたロバストIBPアルゴリズムは、特にm=2の場合に、ロバストバリアンツ問題において近似的に最適な複雑度 Õ(mn²/ε) を達成するか？

主な発見

• ロバスト最適輸送のSinkhornベースのアルゴリズムは Õ(n²/ε) の時間計算量を達成した。これは標準OTの Õ(n²/ε²) よりも高速であり、UOTの複雑度と一致する。
• Nyström法による低ランク近似を適用することで、計算複雑度はさらに Õ(nr² + nr/ε) に低減され、rは近似ランクである。
• m=2の場合のロバストバリアンツ問題において、ロバストIBPアルゴリズムは Õ(mn²/ε) の複雑度を達成した。これは古典的IBPの Õ(mn²/ε²) よりも改善されたものである。
• 実験結果から、ロバスト最適輸送（例：RSD）を用いて学習した生成モデルは、10%の汚染データ（例：一様ノイズ）を正しく無視し、標準的OTベースのモデルはノイズの多いサンプルを生成することが分かった。
• 汚染されたMNISTデータでは、ロバストな定式化により綺麗な数字の画像が生成されたが、標準的なSinkhornベースの学習ではノイズと数字のパターンが混合した画像が生成された。
• 提案されたロバストIBPは、m=2という最小ケースでさえも、ロバストバリアンツ計算において近似的に最適な複雑度 Õ(mn²/ε) を達成する最初の実用的アルゴリズムである。