[論文レビュー] On the Computation of Kantorovich-Wasserstein Distances between 2D-Histograms by Uncapacitated Minimum Cost Flows

Federico Bassetti, Stefano Gualandi+1 more|arXiv (Cornell University)|Apr 2, 2018

Advanced Numerical Analysis Techniques参考文献 48被引用数 10

ひとこと要約

本稿では、2次元ヒストグラム間の1次 Wasserstein 距離を計算するための効率的な手法を提案する。問題を縮小されたネットワーク上の無容量最小費用流問題に再定式化することで、1-ノルムおよび∞-ノルムのコストに対してはO(n)時間で正確な解を得られ、2-ノルムのコストに対してはO(n)サイズのネットワークと、εの保証付き誤差を有する近似解が得られる。これにより、512×512の大きな画像に対しても、0.12%未満の誤差で高速かつスケーラブルな計算が可能となる。

ABSTRACT

In this work, we present a method to compute the Kantorovich-Wasserstein distance of order one between a pair of two-dimensional histograms. Recent works in Computer Vision and Machine Learning have shown the benefits of measuring Wasserstein distances of order one between histograms with $n$ bins, by solving a classical transportation problem on very large complete bipartite graphs with $n$ nodes and $n^2$ edges. The main contribution of our work is to approximate the original transportation problem by an uncapacitated min cost flow problem on a reduced flow network of size $O(n)$ that exploits the geometric structure of the cost function. More precisely, when the distance among the bin centers is measured with the 1-norm or the $\infty$-norm, our approach provides an optimal solution. When the distance among bins is measured with the 2-norm: (i) we derive a quantitative estimate on the error between optimal and approximate solution; (ii) given the error, we construct a reduced flow network of size $O(n)$. We numerically show the benefits of our approach by computing Wasserstein distances of order one on a set of grey scale images used as benchmark in the literature. We show how our approach scales with the size of the images with 1-norm, 2-norm and $\infty$-norm ground distances, and we compare it with other two methods which are largely used in the literature.

研究の動機と目的

• 2次元ヒストグラム間のKantorovich-Wasserstein距離の計算を高速化すること。これはコンピュータビジョンおよび機械学習分野において重要であるが、計算コストが非常に高い。
• n個のビンを持つヒストグラムに対して、完全な双方向グラフ（O(n²)本の辺を有する）上での大規模輸送問題のスケーラビリティの問題に対処すること。
• コスト関数の幾何的構造を活用することで、問題のサイズをO(n²)からO(n)に削減し、より高速かつメモリ効率の良い計算を可能とすること。
• ユークリッド距離（2-ノルム）を基本距離として使用する場合の、近似解に対する保証付き誤差境界を提供すること。
• 従来の手法（例：Network Simplex や Sinkhorn のアルゴリズム）と比較して、実行時間と精度の両面で優れた性能を示すことを目的とする。

提案手法

• 2次元ヒストグラム間の Wasserstein 距離計算問題を、構造的なトポロジーを持つ有向グラフ上での無容量最小費用流問題に再定式化する。
• 1-ノルムおよび∞-ノルムのコスト関数に対して最適性を保つO(n)サイズの縮小されたフローネットワークを、下位の距離度量の幾何的性質を活用して構築する。
• 2-ノルムの場合には、グリッド解像度パラメータLを用いたパラメータ化された近似スキームを導出する。ここでLは近似の精度とネットワークサイズを制御する。
• コスト関数が距離関数である場合、元の輸送問題と縮小された最小費用流問題が等価であることを証明することで、1-および∞-ノルムの正しさを保証する。
• 2-ノルムの場合の近似解と正確解との間の定量的誤差推定を確立し、L ≥ N−1のとき、O(n)サイズのネットワーク上で誤差がε未満に抑えられることを示す。
• 古典的な画像データセットを用いて実装とベンチマークを実施し、実行時間と精度を Network Simplex および Sinkhorn のアルゴリズムと比較する。

実験結果

リサーチクエスチョン

• RQ1 元のネットワークフローモデルのサイズを縮小することで、最適性を保つか、誤差を有界に保ちながら、2次元ヒストグラム間のKantorovich-Wasserstein距離の計算を高速化できるか？
• RQ2 1-ノルムまたは∞-ノルムの基本距離を用いる場合に、O(n)サイズの縮小されたフローネットワークを構築し、正確な Wasserstein 距離を達成できるか？
• RQ3 ユークリッド距離（2-ノルム）を基本距離として使用する場合、縮小されたネットワークを用いた近似解と正確解との間の理論的誤差境界は何か？
• RQ4 512×512などの大規模画像に対して、本手法は Network Simplex や Sinkhorn のアルゴリズムと比較して、実用的にどの程度スケーリングするか？
• RQ5 近似スキームは、ユーザーが定めたしきい値ε未満の誤差を達成しつつ、実用的環境で高い速度と高い精度を両立できるか？

主な発見

• 1-ノルムおよび∞-ノルムの基本距離に対して、本手法はO(n)サイズのフローネットワークを用いて正確な Wasserstein 距離を計算し、全O(n²)輸送問題に比べて計算複雑性を顕著に低減する。
• 2-ノルムの基本距離に対しては、近似解を提供し、誤差境界を保証する。L = N−1の場合、512×512の画像上で誤差は0.12%未満である。
• L=10を用いた2-ノルム近似により、512×512画像間の Wasserstein 距離計算が20分未満で実行可能であり、実用的なスケーラビリティを示している。
• 本手法は、[29]の Network Simplex を用いた手法よりも一貫して高速であり、特に画像サイズが大きくなるほど性能向上が顕著に現れる。
• Sinkhorn のアルゴリズムと比較すると、本手法は2桁のオーダーの高速化を達成する一方で、ヒューリスティックな Sinkhorn 手法とは異なり、誤差が有界であることを保証する。
• 並列化が利用できない環境（例：シングルスレッドの Network Simplex と20スレッドの Sinkhorn）においても、実装は実行時間の面で両方のベースラインを上回り、高い精度を維持している。