[論文レビュー] Multilevel Optimal Transport: a Fast Approximation of Wasserstein-1 distances

Jialin Liu, Wotao Yin+2 more|arXiv (Cornell University)|Sep 29, 2018

Geometric Analysis and Curvature Flows参考文献 49被引用数 14

ひとこと要約

本稿では、粗いグリッドから細かいグリッドへの段階的グリッド初期化を用いることで、プライマル・デュアル・ソルバーの高速化を図る、マルチレベル最適輸送アルゴリズムを提案する。Wasserstein-1距離の計算を、段階的多重グリッド（cascadic multigrid）の原則を応用することで高速化する。512×512の画像において、単一のCPUで0.2〜1.5秒の計算時間を達成し、最先端の手法と比較して2〜12倍の高速化を実現する。

ABSTRACT

We propose a fast algorithm for the calculation of the Wasserstein-1 distance, which is a particular type of optimal transport distance with homogeneous of degree one transport cost. Our algorithm is built on multilevel primal-dual algorithms. Several numerical examples and a complexity analysis are provided to demonstrate its computational speed. On some commonly used image examples of size $512 imes512$, the proposed algorithm gives solutions within $0.2\sim 1.5$ seconds on a single CPU, which is much faster than the state-of-the-art algorithms.

研究の動機と目的

• 大規模な問題、特に画像処理や機械学習分野におけるWasserstein-1距離の計算ボトルネックを解消すること。
• 細かいグリッド上での既存のプライマル・デュアル法や線形計画法ソルバーの収束遅さを、階層的グリッド構造を活用することで克服すること。
• 粗いグリッドからの解を再利用する多重グリッドに類似したフレームワークを構築し、細かいグリッドの最適化を高速化すること。
• 特に高解像度画像において、精度を損なわずに顕著な高速化を達成すること。
• リアルタイムまたは大規模応用に適した、効率的でスケーラブルなWasserstein-1距離の計算を可能とすること。

提案手法

• Wasserstein-1距離問題を解くために、最も粗いグリッドから始まり、段階的に細かくする段階的マルチレベルフレームワークを適用する。
• 細かいグリッドにおけるプライマル変数およびデュアル変数の初期化に、粗いグリッドからの解を用いることで、必要な反復回数を削減する。
• プライマル・デュアル法としてPDHG（プライマル・デュアルハイブリッド勾配）法を採用し、マルチレベルの細分化に適応させたものを利用する。
• 幾何的近接度に基づく重み付き平均化方式を用いて、デュアル変数（Kantorovichポテンシャル）およびフラックスをグリッドレベル間で補間する。
• 粗いグリッド上のノルムによって、補間されたデュアル変数のL²ノルムが有界であることを保証することで、安定性と収束性を確保する。
• デュアルポテンシャル再構築ステップにおいて、逆ラプラシアンの計算にFFTベースのソルバーを活用し、効率的な計算を実現する。

実験結果

リサーチクエスチョン

• RQ1 多重グリッドに類似した段階的初期化は、Wasserstein-1距離計算におけるプライマル・デュアル・ソルバーの反復回数を顕著に削減できるか？
• RQ2 標準的な画像ベンチマークにおいて、[34]および[33]の最先端ソルバーと比較して、このマルチレベルアプローチは速度と精度で優れているか？
• RQ3 本アルゴリズムで用いられるマルチレベル補間スキームの安定性および収束性の理論的根拠は何か？
• RQ4 特に512×512のような大規模グリッドにおいて、計算コストの高速化は問題サイズにどのように依存するか？
• RQ5 画像処理などの実用的応用において、計算時間を著しく短縮しつつ、高い精度を維持できるか？

主な発見

• 提案されたマルチレベル最適輸送アルゴリズムは、単一のCPUを用いて512×512の画像グリッドで0.2〜1.5秒の解を得る。
• [34]および[33]の最先端アルゴリズムと比較して、2〜12倍の高速化を達成しており、特に大きな問題に対してより顕著な恩恵を受ける。
• 多重グリッド初期化により、細かいグリッド上での反復回数が削減され、計算コストが顕著に低減される。
• 理論的分析により、補間されたデュアル変数のL²ノルムがグリッドレベル間で有界であることが確認された。
• DOTmarkデータセットおよび猫の画像例における数値的検証により、本手法の正確さと、既知の最適輸送フローとの視覚的整合性が裏付けられた。
• リアルタイム性能を実現しながらも高い精度を維持するため、大規模な機械学習および画像処理応用に適した手法である。