[論文レビュー] Computing Kantorovich-Wasserstein Distances on $d$-dimensional histograms using $(d+1)$-partite graphs

Gennaro Auricchio, Federico Bassetti+2 more|arXiv (Cornell University)|May 18, 2018

Point processes and geometric inequalities参考文献 29被引用数 5

ひとこと要約

本稿では、d次元ヒストグラム間の2次ケンタロヴィッチ＝ワサーティン距離を正確に計算するための新規手法を提案する。問題を(d+1)部グラフ上の無容量最小費用フロー問題に定式化することで、計算複雑性とメモリ使用量を低減した。主軸に沿った可分コスト構造を活用し、画像およびバイオメディカルデータにおいて、標準的な線形計画法やSinkhornベースの手法と比較して顕著な高速化とスケーラビリティを達成した。

ABSTRACT

This paper presents a novel method to compute the exact Kantorovich-Wasserstein distance between a pair of $d$-dimensional histograms having $n$ bins each. We prove that this problem is equivalent to an uncapacitated minimum cost flow problem on a $(d+1)$-partite graph with $(d+1)n$ nodes and $dn^{\frac{d+1}{d}}$ arcs, whenever the cost is separable along the principal $d$-dimensional directions. We show numerically the benefits of our approach by computing the Kantorovich-Wasserstein distance of order 2 among two sets of instances: gray scale images and $d$-dimensional biomedical histograms. On these types of instances, our approach is competitive with state-of-the-art optimal transport algorithms.

研究の動機と目的

• d次元ヒストグラム間の2次ケンタロヴィッチ＝ワサーティン距離を正確に計算する際の高い計算コストを軽減すること。
• 主軸に沿ったd次元方向におけるコスト関数の可分構造を活用することで、メモリ使用量と実行時間のオーバーヘッドを低減すること。
• 大規模なヒストグラムインスタンスに対して、標準的な線形計画法およびSinkhornベースのアプローチを上回るスケーラブルで効率的なネットワークフロー定式化を開発すること。
• グレースケール画像および高次元バイオメディカルフローサイトメトリー・データを含む実世界のデータセットにおいて、本手法の有効性を実証すること。

提案手法

• 問題を、(d+1)n個のノードとdn^{(d+1)/d}本のアークを持つ(d+1)部グラフ上の無容量最小費用フロー問題に再定式化。これは、二乗ℓ2ノルムコスト関数の可分構造を活用している。
• ノードがd+1層にわたるヒストグラムのビンを表し、アークが隣接層間のビン間の輸送コストを符号化するフローネットワークを構築。コストはℓ2の基本距離から導出される。
• ネットワークは、最小費用フロー問題に対する最先端手法であるネットワークシンプレックス法を用いて解かれる。これにより正確な解が保証される。
• コスト関数がd個の主軸方向に可分であるという仮定の下で有効であり、W2距離に用いられる二乗ℓ2ノルムにおいてこの仮定は成立する。
• 従来のℓ1およびℓ∞ノルムに関する先行研究を一般化し、ℓ2に基づく最適輸送にまで構造的フローネットワークのアイデアを拡張した。
• 合成データおよび実世界のデータセットを用いて、標準的な二部グラフ定式化およびSinkhornアルゴリズムと比較した。

実験結果

リサーチクエスチョン

• RQ1 可分コスト関数を有するd次元ヒストグラムに対して、構造的(d+1)部グラフ定式化が最適輸送問題のサイズと複雑性を低減できるか？
• RQ2 画像およびバイオメディカルヒストグラムデータにおいて、本手法の実行時間およびメモリ使用量は、標準的な線形計画法およびSinkhornベースの手法と比べてどの程度優れているか？
• RQ3 ヒストグラムの次元dおよびビン数nの増加に伴い、(d+1)部定式化はどの程度スケーリング可能か？
• RQ4 標準的手法がメモリ制限により失敗する可能性がある大規模なバイオメディカルデータ、例えば3次元および4次元フローサイトメトリー・ヒストグラムに対しても、本手法は対応可能か？

主な発見

• 64×64グレースケール画像では、(d+1)部アプローチにより実行時間が16.3秒（二部グラフ）から2.2秒に短縮され、アーク数も50倍削減された。
• 128×128画像では、(d+1)部手法の実行時間は36.2秒であったのに対し、二部グラフ定式化では1,368秒にのぼり、アーク数も約2億6800万本から約420万本に削減された。
• N=32、d=3の3次元フローサイトメトリー・データでは、二部グラフ定式化はメモリ不足で停止したが、4部グラフ定式化では5.23秒で距離を計算した。
• N=16、d=2の2次元フローサイトメトリー・データでは、(d+1)部手法は8倍速く（0.003秒対0.024秒）、アーク数も12倍削減された。
• アーク数をn²からdn^{(d+1)/d}に削減することで、大規模なヒストグラムにおけるメモリ使用量の顕著な削減を達成した。
• 特にメモリ制限により他の手法が機能しない高次元バイオメディカルデータにおいて、速度と正確性の両面でSinkhornアルゴリズムを上回った。