[논문 리뷰] On the Complexity of Approximating Multimarginal Optimal Transport

Tianyi Lin, Nhat Ho외 2명|arXiv (Cornell University)|2019. 09. 30.

Complexity and Algorithms in Graphs참고 문헌 70인용 수 29

한 줄 요약

이 논문은 다중모멘트 최적 운반(MOT)을 근사하기 위한 두 가지 결정적 알고리즘—다중모멘트 싱크호른 및 가속화된 다중모멘트 싱크호른—을 제안한다. 이 알고리즘들은 증명 가능한 복잡도 상한을 제공한다. 표준 선형계획법(LP) 설정은 $m \geq 3$일 때 최소비용류 문제로 간주될 수 없음을 보이며, 이는 네트워크 싱플렉스와 같은 조합적 알고리즘의 사용을 배제한다. 또한, near-linear 시간 복잡도 $\widetilde{O}(m^3 n^m \varepsilon^{-2})$와 향상된 $\varepsilon$-의존성 $\widetilde{O}(m^3 n^{m+1/3} \varepsilon^{-4/3})$를 확립하여, 대규모 MOT 문제에서 Gurobi보다 뛰어난 성능을 보인다.

ABSTRACT

We study the complexity of approximating the multimarginal optimal transport (MOT) distance, a generalization of the classical optimal transport distance, considered here between $m$ discrete probability distributions supported each on $n$ support points. First, we show that the standard linear programming (LP) representation of the MOT problem is not a minimum-cost flow problem when $m \geq 3$. This negative result implies that some combinatorial algorithms, e.g., network simplex method, are not suitable for approximating the MOT problem, while the worst-case complexity bound for the deterministic interior-point algorithm remains a quantity of $ ilde{O}(n^{3m})$. We then propose two simple and extit{deterministic} algorithms for approximating the MOT problem. The first algorithm, which we refer to as extit{multimarginal Sinkhorn} algorithm, is a provably efficient multimarginal generalization of the Sinkhorn algorithm. We show that it achieves a complexity bound of $ ilde{O}(m^3n^m\varepsilon^{-2})$ for a tolerance $\varepsilon \in (0, 1)$. This provides a first extit{near-linear time} complexity bound guarantee for approximating the MOT problem and matches the best known complexity bound for the Sinkhorn algorithm in the classical OT setting when $m = 2$. The second algorithm, which we refer to as extit{accelerated multimarginal Sinkhorn} algorithm, achieves the acceleration by incorporating an estimate sequence and the complexity bound is $ ilde{O}(m^3n^{m+1/3}\varepsilon^{-4/3})$. This bound is better than that of the first algorithm in terms of $1/\varepsilon$, and accelerated alternating minimization algorithm~\citep{Tupitsa-2020-Multimarginal} in terms of $n$. Finally, we compare our new algorithms with the commercial LP solver extsc{Gurobi}. Preliminary results on synthetic data and real images demonstrate the effectiveness and efficiency of our algorithms.

연구 동기 및 목표

• 다중모멘트 최적 운반(MOT)을 근사하는 데 있어 $m \geq 3$일 때의 계산 복잡도를 분석하는 것.
• 표준 선형계획법(LP) 설정이 $m \geq 3$일 때 최소비용류 문제로 동치가 아니며, 이는 네트워크 싱플렉스와 같은 조합적 알고리즘의 사용을 배제함을 보여주는 것.
• 기존 방법보다 향상된 복잡도 상한을 갖는 증명 가능한 효율성과 결정적 알고리즘을 개발하는 것.
• 합성 데이터와 실제 이미지에서 제안된 알고리즘을 평가하여, 대규모 설정에서 Gurobi와 같은 상용 솔버보다 뛰어난 성능을 보이는 것.

제안 방법

• 엔트로피 정규화를 사용하여 고전적 싱크호른 알고리즘의 결정적 일반화인 다중모멘트 싱크호른 알고리즘을 제안한다.
• MOT 거리에 $\varepsilon$-정확도를 달성하기 위한 복잡도 상한 $\widetilde{O}(m^3 n^m \varepsilon^{-2})$를 유도한다.
• 추정 수열을 통합하여 가속화된 다중모멘트 싱크호른 알고리즘을 도입함으로써 $\varepsilon$-의존성을 $\varepsilon^{-4/3}$으로 감소시킨다.
• 정규화된 해를 $\varepsilon$-근사 MOT 계획으로 변환하기 위한 새로운 라운딩 기법을 사용한다.
• 엔트로피 정규화된 MOT 문제를 서로서바로 사용하여 반복적 스케일링을 통한 효율적 최적화를 가능하게 한다.
• 다중모멘트 GAN 및 프리-서포트 워샤르슈타인 바리센터와 같은 응용을 위해 MOT의 이중 설정을 활용한다.

실험 결과

연구 질문

• RQ1 표준 선형계획법 설정이 $m \geq 3$일 때 다중모멘트 최적 운반의 최소비용류 문제와 동치인가?
• RQ2 증명 가능한 복잡도 보장을 갖는 결정적이고 효율적인 알고리즘을 MOT 근사에 대해 설계할 수 있는가?
• RQ3 결정적 MOT 근사 알고리즘에서 $\varepsilon$와 $n$에 대해 달성 가능한 최적의 의존성은 무엇인가?
• RQ4 엔트로피 정규화와 가속화 기법은 MOT 솔버의 수렴성과 복잡도에 어떻게 기여하는가?
• RQ5 이 알고리즘은 대규모 MOT 문제에서 Gurobi와 같은 상용 LP 솔버를 초월할 수 있는가?

주요 결과

• 표준 LP 설정은 $m \geq 3$일 때 최소비용류 문제로 간주될 수 없으며, 이는 네트워크 싱플렉스와 같은 조합적 알고리즘의 사용을 배제한다.
• 다중모멘트 싱크호른 알고리즘은 $\widetilde{O}(m^3 n^m \varepsilon^{-2})$의 복잡도 상한을 달성하여, MOT 근사에 대해 첫 번째 near-linear 시간 보장을 제공한다.
• 가속화된 다중모멘트 싱크호른 알고리즘은 $\varepsilon$-의존성을 $\varepsilon^{-4/3}$으로 감소시켜, 표준 싱크호른 알고리즘의 $\varepsilon$-성능을 향상시키며, 기존 가속화 방법보다 $n$에 대해 뛰어난 성능을 보인다.
• 합성 데이터 및 MNIST 이미지 데이터에서 제안된 알고리즘은 런타임과 확장성 면에서 Gurobi를 뛰어넘으며, $n^m$이 커질수록 특히 두드러진다. Gurobi는 메모리 부족으로 인해 실패할 수 있다.
• 알고리즘은 고품질의 프리-서포트 워샤르슈타인 바리센터를 성공적으로 계산하여, 기존 최첨단 방법과 실용적으로 경쟁 가능함을 보였다.