[논문 리뷰] On the Computation of Kantorovich-Wasserstein Distances between 2D-Histograms by Uncapacitated Minimum Cost Flows

Federico Bassetti, Stefano Gualandi외 1명|arXiv (Cornell University)|2018. 04. 02.

Advanced Numerical Analysis Techniques참고 문헌 48인용 수 10

한 줄 요약

이 논문은 2차원 히스토그램 간 제1차 코스터비치-워샤르스키 거리(1st-order Kantorovich-Wasserstein distance)를 계산하는 효율적인 방법을 제안한다. 문제를 축소된 네트워크에서의 비제한 최소비용류로 재구성함으로써, 1-노름 및 ∞-노름 비용의 경우 O(n) 시간 내에 정확한 해를 달성하고, 2-노름 비용의 경우 O(n) 크기의 네트워크와 증명 가능한 오차 한계 ε를 제공하여 대규모 이미지(예: 512×512)에서 빠르고 확장 가능한 계산을 가능하게 한다. 오차는 0.12% 미만이다.

ABSTRACT

In this work, we present a method to compute the Kantorovich-Wasserstein distance of order one between a pair of two-dimensional histograms. Recent works in Computer Vision and Machine Learning have shown the benefits of measuring Wasserstein distances of order one between histograms with $n$ bins, by solving a classical transportation problem on very large complete bipartite graphs with $n$ nodes and $n^2$ edges. The main contribution of our work is to approximate the original transportation problem by an uncapacitated min cost flow problem on a reduced flow network of size $O(n)$ that exploits the geometric structure of the cost function. More precisely, when the distance among the bin centers is measured with the 1-norm or the $\infty$-norm, our approach provides an optimal solution. When the distance among bins is measured with the 2-norm: (i) we derive a quantitative estimate on the error between optimal and approximate solution; (ii) given the error, we construct a reduced flow network of size $O(n)$. We numerically show the benefits of our approach by computing Wasserstein distances of order one on a set of grey scale images used as benchmark in the literature. We show how our approach scales with the size of the images with 1-norm, 2-norm and $\infty$-norm ground distances, and we compare it with other two methods which are largely used in the literature.

연구 동기 및 목표

• 컴퓨터 시각 및 머신러닝에서 핵심적이지만 계산 비용이 큰 2D 히스토그램 간 코스터비치-워샤르스키 거리 계산을 가속화하기 위함.
• n-항목 히스토그램에 대해 O(n²) 간선을 가진 완전 이분 그래프에서의 대규모 운반 문제 해결의 확장성 문제를 해결하기 위함.
• 비용 함수의 기하학적 구조를 활용하여 문제 크기를 O(n²)에서 O(n)으로 줄여, 더 빠르고 메모리 효율적인 계산을 가능하게 하기 위함.
• 유클리드(2-노름) 거리를 기초 거리로 사용할 경우 근사 해에 대한 증명 가능한 오차 한계를 제공하기 위함.
• 기존 방법(예: 네트워크 심플렉스 및 싱크호른 알고리즘)과 비교해 런타임과 정확도 면에서 본 논문의 방법이 뛰어나다는 것을 입증하기 위함.

제안 방법

• 2D 히스토그램 워샤르스키 거리 계산 문제를 구조화된 토폴로지의 방향성 그래프에서의 비제한 최소비용류 문제로 재구성하기.
• 기본 거리 메트릭의 기하학적 성질을 활용하여, 1-노름 및 ∞-노름 비용 함수의 최적성을 유지하는 O(n) 크기의 축소된 유량 네트워크를 구성하기.
• 2-노름의 경우, 격자 해상도 파라미터 L을 사용하는 파arameterized 근사 계획을 유도하며, L은 근사 정확도와 네트워크 크기를 제어한다.
• 비용 함수가 거리일 경우 원래 운반 문제와 축소된 최소비용류 문제 간의 동치성을 증명하여, 1-노름 및 ∞-노름에 대해 정확성을 보장하기.
• 2-노름의 경우 근사 해와 정확한 해 사이의 정량적 오차 추정을 수립하여, L ≥ N−1일 때 크기가 O(n)인 네트워크에서 오차가 ε 이하로 제한됨을 보여주기.
• 기존의 고전적 이미지 데이터셋을 사용해 구현하고, 런타임 및 정확도 면에서 네트워크 심플렉스 및 싱크호른 알고리즘과 비교 분석하기.

실험 결과

연구 질문

• RQ1 기본 네트워크 유량 문제의 크기를 줄여 2D 히스토그램 간 코스터비치-워샤르스키 거리 계산을 가속화할 수 있는가? 이때 최적성은 유지되거나 오차는 제한되어야 한다.
• RQ2 1-노름 또는 ∞-노름 기초 거리일 경우, 크기가 O(n)인 축소된 유량 네트워크를 구성하여 정확한 워샤르스키 거리를 도출할 수 있는가?
• RQ3 유클리드(2-노름) 기초 거리일 경우, 축소된 네트워크를 사용한 근사 해와 정확한 해 사이의 이론적 오차 한계는 무엇인가?
• RQ4 제안된 방법은 대규모 이미지(예: 512×512)에서 네트워크 심플렉스 및 싱크호른 알고리즘과 비교해 실제로 어떻게 확장되는가?
• RQ5 이 근사 계획은 실용적 환경에서 사용자 정의 오차 한계 ε 이하의 오차를 확보하면서도 고속과 고정밀도를 동시에 달성할 수 있는가?

주요 결과

• 1-노름 및 ∞-노름 기초 거리의 경우, 제안된 방법은 O(n) 크기의 유량 네트워크를 사용하여 정확한 워샤르스키 거리를 계산하며, 전체 O(n²) 운반 문제에 비해 계산 복잡도를 크게 감소시킨다.
• 2-노름 기초 거리의 경우, 제안된 방법은 증명 가능한 오차 한계를 제공하는 근사 해를 제공한다. L = N−1일 때 512×512 이미지에서 오차는 0.12% 미만이다.
• L=10로 2-노름 근사를 사용할 경우 512×512 이미지 간 워샤르스키 거리 계산에 대해 20분 미만의 런타임을 달성하여 실용적 확장성을 입증한다.
• 제안된 방법은 특히 더 큰 이미지 크기에서 네트워크 심플렉스 기반 방법보다 빠르며, 해상도가 높을수록 성능 향상이 커진다.
• 싱크호른 알고리즘과 비교해 본 논문의 방법은 런타임 면에서 훨씬 빠르며(동일한 최적성 갭에서 최대 2개의 오차 단위), 히ュ리스틱인 싱크호른 방식과 달리 오차가 제한됨을 보장한다.
• 병렬 처리가 불가능한 환경(예: 단일 스레드 네트워크 심플렉스 대비 20스레드 싱크호른)에서도 구현은 정확도를 유지하면서 기존의 정확 및 근사 기준보다 런타임 면에서 뛰어나다.