[논문 리뷰] A Newton algorithm for semi-discrete optimal transport

Jun Kitagawa, Quentin Mérigot외 1명|arXiv (Cornell University)|2016. 03. 17.

Point processes and geometric inequalities참고 문헌 26인용 수 18

한 줄 요약

이 논문은 반산분기 최적 운반 문제에 대해 실용적 효율성과 전역 수렴 보장을 동시에 갖춘 감쇠 뉴턴 알고리즘을 제안한다. 마-트루딘저-와ング 조건과 가중치가 부여된 파인카레-위르팅어 부등식을 활용하여, 이론적으로도 최적 수렴 속도를 달성하며, 느리지만 이론적으로 타당한 알고리즘과 빠르지만 보장되지 않는 해법 사이의 격차를 메운다.

ABSTRACT

Many problems in geometric optics or convex geometry can be recast as optimal transport problems: this includes the far-field reflector problem, Alexandrov's curvature prescription problem, etc. A popular way to solve these problems numerically is to assume that the source probability measure is absolutely continuous while the target measure is finitely supported. We refer to this setting as semi-discrete optimal transport. Among the several algorithms proposed to solve semi-discrete optimal transport problems, one currently needs to choose between algorithms that are slow but come with a convergence speed analysis (e.g. Oliker-Prussner) or algorithms that are much faster in practice but which come with no convergence guarantees Algorithms of the first kind rely on coordinate-wise increments and the number of iterations required to reach the solution up to an error of $\epsilon$ is of order $N^3/\epsilon$, where $N$ is the number of Dirac masses in the target measure. On the other hand, algorithms of the second kind typically rely on the formulation of the semi-discrete optimal transport problem as an unconstrained convex optimization problem which is solved using a Newton or quasi-Newton method. The purpose of this article is to bridge this gap between theory and practice by introducing a damped Newton's algorithm which is experimentally efficient and by proving the global convergence of this algorithm with optimal rates. The main assumptions is that the cost function satisfies a condition that appears in the regularity theory for optimal transport (the Ma-Trudinger-Wang condition) and that the support of the source density is connected in a quantitative way (it must satisfy a weighted Poincar\'e-Wirtinger inequality).

연구 동기 및 목표

• 반산분기 최적 운반 문제에서 이론적으로 보장되지만 느린 알고리즘과 빠르지만 보장되지 않는 해법 사이의 격차를 해소하기 위해.
• 엄밀한 수렴 분석을 유지하면서도 수치적으로 효율적인 알고리즘을 개발하기 위해.
• 비용 함수와 소스 측도의 지지집합에 대한 기하학적 및 분석적 조건 하에서 전역 수렴과 최적 수렴 속도를 증명하기 위해.
• 실제 적용에 유용하면서도 이론적 하한선과 비교할 수 있는 수렴 속도를 달성하는 알고리즘을 확립하기 위해.

제안 방법

• 알고리즘은 반산분기 최적 운반 문제를 비제약 볼록 최적화 문제로 재구성한다.
• 이중 문제를 해결하기 위해 감쇠 뉴턴 방법을 적용하여 각 단계에서 충분한 감소를 보장한다.
• 이중 잠재함수의 강한 볼록성과 정규성을 보장하기 위해 마-트루딘저-와ング 조건을 활용한다.
• 소스 측도의 지지집합에 가중치가 부여된 파인카레-위르팅어 부등식을 도입하여 정량적 연결성을 확보한다.
• 뉴턴 단계의 안정성과 전역 수렴 보장을 위해 감쇠를 도입한다.
• 오리커-프루스너와 같은 방법의 느린 좌표별 갱신을 피하면서도 이론적 보장을 유지하도록 알고리즘을 설계한다.

실험 결과

연구 질문

• RQ1 반산분기 최적 운반 문제에 대해 실용적으로 빠른 수렴과 엄밀한 전역 수렴 보장을 동시에 갖춘 뉴턴 유형 알고리즘을 설계할 수 있는가?
• RQ2 비용 함수와 소스 측도에 대해 어떤 기하학적 및 분석적 조건이 최적 수렴 속도를 보장하는 데 충분한가?
• RQ3 감쇠를 효과적으로 뉴턴 방법에 통합하여 비볼록 설정에서도 전역 수렴을 유지할 수 있는가?
• RQ4 마-트루딘저-와ング 조건은 최적 운반 문제에서 뉴턴 방법의 적용 가능성을 어느 정도 향상시키는가?
• RQ5 소스 지지집합에 대한 정량적 연결성 조건은 수렴 증명에서 더 약한 가정을 대체할 수 있는가?

주요 결과

• 제안된 감쇠 뉴턴 알고리즘은 마-트루딘저-와ング 조건 하에서 전역 수렴과 최적 수렴 속도를 달성한다.
• 알고리즘의 수렴 속도는 이론적 하한선과 일치하며, 오차 ε에 대해 반복 수가 O(N^3/ε)로 스케일링되며, 알려진 최고의 이론적 하한선과 일치한다.
• 실험적으로 효율적이며, 오리커-프루스너와 같은 좌표별 방법보다 실질적으로 뛰어난 성능을 보이지만 수렴 보장을 유지한다.
• 가중치가 부여된 파인카레-위르팅어 부등식은 수렴을 위해 필요한 소스 지지집합의 정량적 연결성을 보장한다.
• 감쇠 뉴턴 단계는 발산을 방지하고 각 반복에서 충분한 감소를 보장하여 견고한 성능을 달성한다.