[논문 리뷰] Computing Kantorovich-Wasserstein Distances on $d$-dimensional histograms using $(d+1)$-partite graphs

Gennaro Auricchio, Federico Bassetti외 2명|arXiv (Cornell University)|2018. 05. 18.

Point processes and geometric inequalities참고 문헌 29인용 수 5

한 줄 요약

이 논문은 d차원 히스토GRAM 간 제2순서 캄토로비치-워샤르스타인 거리를 정확하게 계산하는 새로운 방법을 제안한다. 문제를 (d+1)-분할 그래프 상의 무용량 최소비용 순환 문제로 재구성함으로써 계산 복잡도와 메모리 사용량을 감소시킨다. 이는 주 축을 따라 분리 가능한 비용 구조를 활용하여 영상 및 생물의학 데이터에서 표준 선형 프로그래밍 및 싱커퍼 기반 방법에 비해 빠른 속도 향상과 확장성을 달성한다.

ABSTRACT

This paper presents a novel method to compute the exact Kantorovich-Wasserstein distance between a pair of $d$-dimensional histograms having $n$ bins each. We prove that this problem is equivalent to an uncapacitated minimum cost flow problem on a $(d+1)$-partite graph with $(d+1)n$ nodes and $dn^{\frac{d+1}{d}}$ arcs, whenever the cost is separable along the principal $d$-dimensional directions. We show numerically the benefits of our approach by computing the Kantorovich-Wasserstein distance of order 2 among two sets of instances: gray scale images and $d$-dimensional biomedical histograms. On these types of instances, our approach is competitive with state-of-the-art optimal transport algorithms.

연구 동기 및 목표

• d차원 히스토GRAM 간 제2순서 캄토로비치-워샤르스타인 거리를 정확하게 계산하는 데 발생하는 높은 계산 비용을 해결하기 위해.
• 주 d차원 방향을 따라 지면 비용 함수의 분리 가능한 구조를 활용하여 메모리 및 런타임 오버헤드를 줄이기 위해.
• 대규모 히스토GRAM 인스턴스에서 표준 선형 프로그래밍 및 싱커퍼 기반 접근법보다 뛰어난 성능을 보이는 확장성 있고 효율적인 네트워크 흐름 공식을 개발하기 위해.
• 실제 데이터 세트, 특히 회색조 영상 및 고차원 생물의학적 플로우 세포 측정 데이터에서 방법의 효과성을 입증하기 위해.

제안 방법

• 제곱 ℓ2 노름 비용 함수의 분리 가능한 구조를 활용하여, (d+1)n개의 노드와 dn^{(d+1)/d}개의 간선을 가진 (d+1)-분할 그래프 상의 무용량 최소비용 순환 문제로 문제를 재구성한다.
• 노드는 d+1층에 걸쳐 있는 히스토GRAM의 바인을 나타내며, 간선은 인접한 층의 바인 간의 운반 비용을 표현한다. 비용은 ℓ2 지면 거리에서 유도된다.
• 네트워크는 최신 기술로 간주되는 네트워크 심플렉스 알고리즘을 사용하여 해결되며, 정확한 해를 보장한다.
• 비용 함수가 주 d차원 방향을 따라 분리 가능하다는 가정 하에 유효하며, 이는 W2 거리에서 사용되는 제곱 ℓ2 노름에 대해 성립한다.
• 이전의 ℓ1 및 ℓ∞ 노름 작업을 일반화하여, ℓ2 기반 최적 운반 문제에 대해 구조화된 흐름 네트워크 아이디어를 확장한다.
• 합성 및 실제 데이터 세트를 사용하여 표준 이분할 그래프 공식과 싱커퍼 알고리즘과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 분리 가능한 비용 함수를 가진 d차원 히스토GRAM에 대해, 구조화된 (d+1)-분할 그래프 공식이 최적 운반 문제의 크기와 복잡도를 줄일 수 있는가?
• RQ2 영상 및 생물의학 히스토그램 데이터에서 표준 선형 프로그래밍 및 싱커퍼 기반 접근법과 비교해 런타임과 메모리 사용량에서 제안된 방법의 성능은 어떠한가?
• RQ3 히스토그램 차원 d와 바인 수 n이 증가함에 따라 (d+1)-분할 공식은 어느 정도 확장 가능한가?
• RQ4 표준 방법이 메모리 제한으로 실패하는 대규모 생물의학 데이터, 예를 들어 3D 및 4D 플로우 세포 측정 히스토그램을 처리할 수 있는가?

주요 결과

• 64×64 회색조 영상에서, (d+1)-분할 접근법은 이분할 공식의 16.3초에서 2.2초로 런타임을 단축했으며 간선 수는 50배 감소했다.
• 128×128 영상에서, (d+1)-분할 방법은 36.2초의 런타임을 기록했고, 이는 이분할 공식의 1,368초에 비해 빠르며 간선 수는 약 2.68억에서 약 420만으로 감소했다.
• N=32, d=3인 3D 플로우 세포 측정 데이터에서, 이분할 공식은 메모리 부족으로 실패했지만, 4분할 공식은 5.23초 내로 거리를 계산했다.
• N=16, d=2인 2D 플로우 세포 측정 데이터에서, (d+1)-분할 방법은 0.003초로 8배 빠르게 작동했고 간선 수는 12배 적게 사용했다.
• n²에서 dn^{(d+1)/d}로 간선 수를 줄임으로써 메모리 절약 효과를 달성하여 더 큰 히스토그램에서도 계산이 가능해졌다.
• 특히 메모리 제약으로 다른 방법이 실패하는 고차원 생물의학 데이터에서, 속도와 정확성 면에서 싱커퍼 알고리즘을 능가했다.