[논문 리뷰] On accelerated alternating minimization

Sergey Guminov, Pavel Dvurechensky외 1명|arXiv (Cornell University)|2020. 01. 01.

Matrix Theory and Algorithms참고 문헌 10인용 수 15

한 줄 요약

이 논문은 엔트로피 정규화된 최적 운반 문제에 대해 $1/k^2$ 수렴 속도를 가지는 가속화된 교대 최소화 알고리즘을 제안한다. 이는 표준 교대 최소화와 싱크호른 알고리즘의 $1/k$ 수렴 속도보다 크게 향상된 결과를 얻는다. 이 방법은 원본-이중 구조이며 국소 부드러움에 적응적이며, 스텝 사이즈 조정이 필요 없이 기울기 기반 방법과 싱크호른 방법보다 실질적으로 뛰어나다.

ABSTRACT

Alternating minimization (AM) optimization algorithms have been known for a long time and are of importance in machine learning problems, among which we are mostly motivated by approximating optimal transport distances. AM algorithms assume that the decision variable is divided into several blocks and minimization in each block can be done explicitly or cheaply with high accuracy. The ubiquitous Sinkhorn's algorithm can be seen as an alternating minimization algorithm for the dual to the entropy-regularized optimal transport problem. We introduce an accelerated alternating minimization method with a $1/k^2$ convergence rate, where $k$ is the iteration counter. This improves over known bound $1/k$ for general AM methods and for the Sinkhorn's algorithm. Moreover, our algorithm converges faster than gradient-type methods in practice as it is free of the choice of the step-size and is adaptive to the local smoothness of the problem. We show that the proposed method is primal-dual, meaning that if we apply it to a dual problem, we can reconstruct the solution of the primal problem with the same convergence rate. We apply our method to the entropy regularized optimal transport problem and show experimentally, that it outperforms Sinkhorn's algorithm.

연구 동기 및 목표

• 표준 교대 최소화와 싱크호른 알고리즘의 엔트로피 정규화된 최적 운반 문제에서의 느린 수렴 문제를 해결하기 위해.
• 기존의 $1/k$ 수렴 속도보다 더 빠른 $1/k^2$ 수렴 속도를 달성하는 교대 최소화의 가속화된 변종을 개발하기 위해.
• 지역 문제의 부드러움에 적응할 수 있고 스텝 사이즈 선택이 필요 없는 방법을 설계하기 위해.
• 알고리즘이 원본-이중 구조를 유지하여 동일한 수렴 속도로 원본 해를 복구할 수 있도록 보장하기 위해.

제안 방법

• 제안된 방법은 네스테로프 스타일의 가속화를 교대 최소화에 적용하며, 반복 카운터 $k$에 따라 달라지는 운동량 항을 포함한다.
• 가능한 한 닫힌 형태의 업데이트를 사용하여 변수의 각 블록에 대해 이중 목표 함수를 번갈아 최소화한다.
• 가속화 메커니즘은 이중 목표 함수에 대해 전역적으로 $1/k^2$ 수렴 속도를 보장하며, 일반적인 $1/k$ 수렴 속도보다 향상된다.
• 알고리즘은 원본-이중 구조이다: 이중 문제를 풀면 동일한 $1/k^2$ 수렴 속도로 원본 해를 복구할 수 있다.
• 이 방법은 국소 부드러움에 적응적이며, 기울기 유형 방법에서 흔히 요구되는 수동적 스텝 사이즈 선택이 필요 없어진다.
• 이 접근법은 이중 문제의 구조를 활용하여 엔트로피 정규화된 최적 운반 문제에 적용된다.

실험 결과

연구 질문

• RQ1 엔트로피 정규화된 최적 운반 문제에서 교대 최소화를 $1/k^2$ 수렴 속도로 가속화할 수 있는가?
• RQ2 제안된 가속화 방법은 실질적으로 싱크호른 알고리즘과 기울기 기반 방법보다 뛰어나게 성능을 발휘하는가?
• RQ3 더 빠른 수렴을 달성하면서도 원본-이중 구조를 유지할 수 있는가?
• RQ4 지역 문제의 부드러움에 적응하여 스텝 사이즈 조정이 필요 없이 작동하는가?
• RQ5 대규모 최적 운반 문제에 대해 가속화된 교대 최소화를 효율적으로 구현할 수 있는가?

주요 결과

• 제안된 가속화된 교대 최소화는 이중 목표 함수에 대해 $1/k^2$ 수렴 속도를 달성하며, 일반적인 교대 최소화와 싱크호른 알고리즘의 표준 $1/k$ 수렴 속도보다 향상된다.
• 실제로 싱크호른 알고리즘보다 성능이 뛰어나며, 벤치마크 최적 운반 문제에서 더 빠른 수렴을 보여준다.
• 지역 부드러움에 적응하여 스텝 사이즈 선택이 필요 없어지고, 안정성 또한 향상된다.
• 원본-이중 구조 덕분에 원본 해를 이중 해와 동일한 $1/k^2$ 수렴 속도로 복구할 수 있다.
• 실험 결과는 이 방법이 적응형 특성과 스텝 사이즈 의존성 부재로 인해 기울기 기반 방법보다 더 빠르게 수렴함을 확인한다.