[논문 리뷰] A Study of Performance of Optimal Transport

Yihe Dong, Yu Gao외 3명|arXiv (Cornell University)|2020. 05. 03.

Optimization and Packing Problems참고 문헌 30인용 수 10

한 줄 요약

이 논문은 최적 운반(OT) 거리 계산을 위한 조합적 방법과 행렬 스케일링 방법을 평가하며, 네트워크 심플렉스와 새로운 배치형 쿠른-문크스 알고리즘을 통해 싱크혼과 그린크ور른보다 빠른 성능을 보이며, 저정밀도 환경에서도 최대 수개의 속도 향상을 보임을 입증함. 저자들은 할당 문제에 대한 정확한 OT 계산을 크게 향상시키는 새로운 배치형 KM 알고리즘을 제안함.

ABSTRACT

We investigate the problem of efficiently computing optimal transport (OT) distances, which is equivalent to the node-capacitated minimum cost maximum flow problem in a bipartite graph. We compare runtimes in computing OT distances on data from several domains, such as synthetic data of geometric shapes, embeddings of tokens in documents, and pixels in images. We show that in practice, combinatorial methods such as network simplex and augmenting path based algorithms can consistently outperform numerical matrix-scaling based methods such as Sinkhorn [Cuturi'13] and Greenkhorn [Altschuler et al'17], even in low accuracy regimes, with up to orders of magnitude speedups. Lastly, we present a new combinatorial algorithm that improves upon the classical Kuhn-Munkres algorithm.

연구 동기 및 목표

• 다양한 데이터 유형에서 정확한 및 근사 최적 운반 알고리즘의 런타임 효율성을 체계적으로 비교하기 위해.
• 실제 환경에서 조합적 방법(예: 네트워크 심플렉스, 경매, 쿠른-문크스)과 행렬 스케일링 방법(예: 싱크혼, 그린크ور른)의 실용적 성능을 평가하기 위해.
• 행렬 스케일링 접근법에서 정규화 파라미터의 영향을 수렴성과 정확도에 미치는 영향을 조사하기 위해.
• 할당 문제에 대해 고전적 정확한 방법보다 향상된 성능을 보이는 새로운 배치형 쿠른-문크스 알고리즘을 개발하고 벤치마크하기 위해.
• 특히 저정밀도 허용 오차 조건에서 정확도, 런타임, 수치적 안정성 간의 상호 교환 관계를 평가하기 위해.

제안 방법

• 정확한 OT 계산을 위한 BLAS 최적화된 C++ 버전의 네트워크 심플렉스, 경매, 쿠른-문크스 알고리즘을 구현하고 벤치마크함.
• 수치적 오버플로우 방지를 위해 로그 플로우 추적 기능을 갖춘 행렬 스케일링 방법(Sinkhorn 및 Greenkhorn)을 평가함.
• 여러 할당 문제를 동시에 처리함으로써 캐시 효율성을 높이고 오버헤드를 줄이는 배치형 쿠른-문크스 알고리즘의 변형을 도입함.
• 근사 알고리즘 간의 공정한 평가를 위해 정확도 대 속도의 상호 교환 관계 평가를 위해 일정한 근사 요인 1.1을 사용함.
• 모든 데이터셋 간의 정규화 파라미터(η) 영향을 공정하게 비교하기 위해 비용 행렬을 최대값 1로 스케일링함.
• 수렴 분석을 위해 η의 함수로 반복 횟수와 런타임을 측정함으로써 정확도와 계산 비용 간의 상호 교환 관계를 연구함.

실험 결과

연구 질문

• RQ1 다양한 데이터 영역에서 네트워크 심플렉스 및 쿠른-문크스와 같은 조합적 알고리즘이 싱크혼 및 그린크ور른과 같은 행렬 스케일링 방법보다 런타임 면에서 뛰어나게 성능을 발휘하는가?
• RQ2 실제 환경에서 정규화 파라미터 η의 선택이 싱크혼 및 그린크ور른의 수렴 속도와 정확도에 어떤 영향을 미치는가?
• RQ3 쿠른-문크스 알고리즘의 배치형 변형이 정확한 OT 계산에서 고전적 버전보다 뚜렷한 성능 향상을 이룰 수 있는가?
• RQ4 특히 단위가 아닌 수요/공급을 가진 문제에서 10% 오차 허용 범위가 허용될 경우, 행렬 스케일링 방법이 여전히 경쟁력이 있는가?
• RQ5 행렬 스케일링 OT 알고리즘에서 수치적 안정성, 정밀도 요구 사항, 수렴 속도 간의 실용적 상호 교환 관계는 어떠한가?

주요 결과

• 조합적 방법, 특히 네트워크 심플렉스와 새로운 배치형 쿠른-문크스 알고리즘은 모든 테스트 데이터셋에서 행렬 스케일링 방법보다 최대 수개의 속도 향상을 보였음.
• 10% 오차 허용 범위가 존재하더라도, 비단 단위 수요/공급이 아닌 모든 데이터셋에서 싱크혼과 그린크ور른은 정확한 Lemon NS 알고리즘을 초월하지 못했으며, 그린크ور른는 최소한 한 계급 이상 느렸음.
• 배치형 쿠른-문크스 변형은 단위 수요 문제(예: CS100)에서 마이크로초 이내의 런타임을 달성했고, 싱크혼은 0.006초, 그린크ور른는 0.402초가 소요되어 뚜렷한 속도 향상을 보임.
• 정규화 파라미터 η를 증가시킬수록 정확도는 향상되었지만 반복 횟수는 초선형적으로 증가하여 대규모 문제에 대해 고정밀도 솔루션을 얻는 것이 비용이 너무 많이 들게 됨.
• 행렬 스케일링 방법은 고η 값에서 더 높은 정밀도 부동소수점 산술을 요구하여 수치적 불안정성과 성능 저하 요인을 유발함.
• 이론적 이점이 있음에도 불구하고, 싱크혼 및 그린크ور른과 같은 행렬 스케일링 방법은 근사 허용 범위가 있더라도 항상 정확한 조합적 해법보다 느렸음.