[논문 리뷰] Overrelaxed Sinkhorn-Knopp Algorithm for Regularized Optimal Transport

Alexis Thibault, Lénaïc Chizat외 2명|arXiv (Cornell University)|2017. 11. 06.

Optimization and Variational Analysis참고 문헌 34인용 수 15

한 줄 요약

이 논문은 정규화된 최적 운반 문제에서 수렴 속도를 가속화하면서도 전역 수렴을 보장하기 위해 적응형 초과완화와 리아푸노프 함수 모니터링을 통한 과도한 완화를 적용한, 과도하게 완화된 싱크호른–노프 알고리즘을 제안한다. 이 알고리즘은 동적으로 조정되는 완화 계수를 통해 과도한 완화를 결합함으로써, 특히 작은 정규화 파라미터에서 표준 싱크호른 알고리즘 대비 최대 20배 빠른 수렴을 달성한다.

ABSTRACT

This article describes a set of methods for quickly computing the solution to the regularized optimal transport problem. It generalizes and improves upon the widely-used iterative Bregman projections algorithm (or Sinkhorn--Knopp algorithm). We first propose to rely on regularized nonlinear acceleration schemes. In practice, such approaches lead to fast algorithms, but their global convergence is not ensured. Hence, we next propose a new algorithm with convergence guarantees. The idea is to overrelax the Bregman projection operators, allowing for faster convergence. We propose a simple method for establishing global convergence by ensuring the decrease of a Lyapunov function at each step. An adaptive choice of overrelaxation parameter based on the Lyapunov function is constructed. We also suggest a heuristic to choose a suitable asymptotic overrelaxation parameter, based on a local convergence analysis. Our numerical experiments show a gain in convergence speed by an order of magnitude in certain regimes.

연구 동기 및 목표

• 최적 운반 문제에서 엔트로피 정규화 파라미터가 작을 경우 표준 싱크호른–노프 알고리즘이 느리게 수렴하는 문제를 해결하기 위해.
• 원래 알고리즘의 일阶 미분, 병렬 처리 가능한 구조를 유지하면서도 전역 수렴 보장이 되는 가속화 방법을 개발하기 위해.
• 수렴을 보장하면서 수렴 속도를 향상시키는 실용적이고 적응형 초과완화 전략을 제공하기 위해.
• 과도하게 완화된 알고리즘의 국소 수렴 속도를 분석하고 최적의 초과완화 파라미터를 선택하기 위한 힌트를 유도하기 위해.
• 수치적으로 제안된 방법이 특히 작은 ε에서 표준 싱크호른 알고리즘보다 반복 횟수와 런타임 측면에서 뚜렷이 뛰어나다는 것을 입증하기 위해.

제안 방법

• 이중 업데이트에 과도한 완화를 적용함으로써 표준 싱크호른–노프 알고리즘을 일반화한 과도한 완화된 브레그만 사영 계획을 도입한다.
• 각 반복에서 리아푸노프 함수의 감소를 강제함으로써 전역 수렴을 보장하기 위해 리아푸노프 함수를 활용한다.
• 현재 리아푸노프 함수의 값을 기반으로 초과완화 파라미터를 선택하는 적응 전략을 제안한다.
• SOR 유형 반복의 국소 수렴 분석을 통해 점점 더 큰 초과완화 파라미터를 선택하기 위한 힌트를 도출한다.
• 정규화된 비선형 가속 기법(RNA)을 싱크호른 알고리즘에 적용하여 빠른 수렴을 달성하지만, 전역 수렴 보장은 없음.
• 정점 근처에서의 안정성과 수렴성을 정당화하기 위해 이차 타일러 전개를 사용한다.

실험 결과

연구 질문

• RQ1 싱크호른–노프 알고리즘에 과도한 완화를 적용할 수 있는가? 이 경우 전역 수렴을 보장하면서 수렴 속도를 가속화할 수 있는가?
• RQ2 정규화된 최적 운반 문제에서 속도와 안정성의 균형을 이루는 최적의 초과완화 파라미터는 무엇인가?
• RQ3 리아푸노프 함수 기반의 적응형 초과완화 전략이 수렴을 보장하고 성능을 향상시키는 방식은 무엇인가?
• RQ4 특히 작은 정규화 파라미터에서 제안된 방법이 표준 싱크호른 알고리즘보다 반복 횟수와 런타임 측면에서 얼마나 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 국소 수렴 분석을 통해 점점 더 큰 초과완화 파라미터를 선택하기 위한 힌트를 도출할 수 있는가? 이는 실용적 성능 향상에 어떻게 기여하는가?

주요 결과

• 제안된 과도하게 완화된 알고리즘은 저정규화 영역에서 표준 싱크호른 알고리즘 대비 20배 이상의 가속을 달성한다.
• 적응형 초과완화 전략은 각 반복에서 리아푸노프 함수의 감소를 보장함으로써 전역 수렴을 보장한다.
• 수치 실험 결과, 별도의 문제에서 추정한 초과완화 파라미터가 동일 문제에서 측정한 값과 거의 동일한 성능을 보이며, 이는 강건성을 시사한다.
• 과도하게 완화된 알고리즘의 국소 수렴 속도는 표준 싱크호른 알고리즘보다 향상되었으며, 최적의 초과완화 파라미터 θ*는 더 빠른 수렴을 달성한다.
• 이 방법은 싱크호른과 동일한 반복 복잡도를 유지하며, 완전히 병렬 처리 가능하므로 GPU 가속에 적합하다.
• 이론적 분석은 과도한 완화 파라미터가 (1, θ₀) 간격 내에 있을 경우 전역 수렴이 달성됨을 확인하며, θ₀는 원래 알고리즘의 국소 수렴 속도에 따라 달라진다.