[논문 리뷰] Interior-Point Methods Strike Back: Solving the Wasserstein Barycenter Problem

Dongdong Ge, Haoyue Wang외 2명|arXiv (Cornell University)|2019. 05. 30.

Markov Chains and Monte Carlo Methods인용 수 13

한 줄 요약

이 논문은 뉴턴 반복을 가속화하기 위해 블록 행렬 구조를 활용함으로써 워셔스타인 바리센터 문제를 효율적으로 해결하기 위한 새로운 내부점법, 행렬 기반 적응형 번갈아서 내부점법(MAAIPM)을 소개한다. 이 방법은 최첨단의 일阶 및 정규화된 접근 방식보다 최대 10배 빠르게 높은 정확도의 해를 도출하며, MNIST 및 패션-MNIST 벤치마크에서 Gurobi와 MOSEK를 모두 성능과 확장성 측면에서 능가한다.

ABSTRACT

Computing the Wasserstein barycenter of a set of probability measures under the optimal transport metric can quickly become prohibitive for traditional second-order algorithms, such as interior-point methods, as the support size of the measures increases. In this paper, we overcome the difficulty by developing a new adapted interior-point method that fully exploits the problem's special matrix structure to reduce the iteration complexity and speed up the Newton procedure. Different from regularization approaches, our method achieves a well-balanced tradeoff between accuracy and speed. A numerical comparison on various distributions with existing algorithms exhibits the computational advantages of our approach. Moreover, we demonstrate the practicality of our algorithm on image benchmark problems including MNIST and Fashion-MNIST.

연구 동기 및 목표

• 대규모 워셔스타인 바리센터 문제에 대해 전통적인 이阶 방법인 내부점법(IPM)의 계산 불가능성을 해결하기 위해.
• 엔트로피 정규화 접근 방식에서 내재된 정확도와 속도의 상충 관계를 극복하기 위해 비정규화된 고정밀도 IPM을 개발하기 위해.
• 지원점과 운반 계획을 동시에 최적화하는 적응형 알고리즘을 설계하여 수렴 속도를 향상시키고 국소 최소값에서 벗어나기 위해.
• IPM의 정규방정식에서 나타나는 블록 행렬 구조를 활용하여 반복 복잡도를 감소시키고 뉴턴 단계를 가속화하기 위해.
• 실제 이미지 데이터셋인 MNIST 및 패션-MNIST에서 제안된 방법의 실용성과 확장성을 입증하기 위해.

제안 방법

• MAAIPM은 메흐로트라의 알고리즘과 함께 예측-수정 IPM 프레임워크를 사용하며, 적응형 스텝 길이 및 중심화 파라미터 선택 기법을 적용한다.
• 문제의 고랭크 및 블록 희소 구조를 활용하여 뉴턴 방정식을 효율적으로 해결하기 위한 두 가지 블록 행렬 기반 가속 알고리즘을 도입한다.
• 자유 지원 바리센터 문제의 경우, MAAIPM은 비제약 조건이 붙은 2차 프로그래밍을 통해 지원점을 번갈아 업데이트하고, 국소 최소값에서 벗어나기 위한 '점프' 휴리스틱을 적용한다.
• 이 방법은 이중 단계 전략을 사용한다: 초기에는 지원점을 근사적으로 업데이트하고, 수렴이 가까워지면 자주이고 세밀하게 업데이트한다.
• 문제를 O(Nm + ∑mi)개의 제약 조건과 O(m∑mi + m)개의 변수를 가진 선형 프로그래밍 문제로 재구성한 후, 구조 인식 기반 분해를 적용하여 IPM을 적용한다.
• 알고리즘은 2차 수렴을 유지하며, N과 m′에 대해 거의 선형 시간 복잡도를 달성하며, 메모리 사용량은 정규화된 방법과 비슷한 상수 배수 내에서 유지된다.

실험 결과

연구 질문

• RQ1 문제 특화의 행렬 구조를 활용함으로써 내부점법이 대규모 워셔스타인 바리센터 문제에 대해 확장 가능하게 만들 수 있는가?
• RQ2 엔트로피 정규화된 방법과 일阶 방법에 비해 비정규화된 IPM 접근 방식이 해의 정확도와 계산 효율성 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ3 점프 휴리스틱을 활용한 적응형 지원점 업데이트가 자유 지원 바리센터 계산에서 수렴을 향상시키고 국소 최소값을 피할 수 있는가?
• RQ4 Gurobi, MOSEK, BADMM, IBP와 같은 최첨단 솔버와 비교해 MAAIPM은 실제 이미지 데이터셋에서 해의 품질과 런타임 측면에서 어떻게 성능을 발휘하는가?
• RQ5 문제 크기(N, m, mi)가 제안된 방법의 반복 횟수와 계산 시간에 어떤 영향을 미치는가?

주요 결과

• MAAIPM는 모든 테스트 방법 중에서 두 번째로 짧은 계산 시간에 가장 낮은 목적 함수 값을 달성하여, Gurobi와 MOSEK를 모두 속도와 확장성 측면에서 능가한다.
• MNIST 및 패션-MNIST에서 MAAIPM은 200장의 숫자 8 이미지에 대해 250초 이내로 가장 선명하고 명확한 바리센터를 계산하였다.
• N=5000일 경우, MAAIPM은 3098.23초가 소요되었고, MOSEK는 20,000초 이상이 소요되어 우수한 확장성 잠재력을 입증하였다.
• 메서드는 문제 크기와 관계없이 거의 일정한 반복 횟수를 유지하여, N과 m′에 대해 거의 선형 시간 복잡도임을 시사한다.
• 자유 지원 케이스에서는 MAAIPM이 두 번째로 빠른 시간에 가장 낮은 목적 함수 값을 달성하였고, ε=0.01인 IBP는 가장 빠르지만 저품질의 해를 생성하였다.
• MAAIPM의 메모리 사용은 효율적으로 관리되었으며, 큰 문제에서 Gurobi와 MOSEK보다 훨씬 낮았고, IBP와 비슷한 상수 배수 내에서 유지되었다.