[논문 리뷰] Accelerating ADMM for Efficient Simulation and Optimization

Juyong Zhang, Yue Peng외 2명|arXiv (Cornell University)|2019. 09. 01.

Sparse and Compressive Sensing Techniques참고 문헌 2인용 수 6

한 줄 요약

이 논문은 컴퓨터 영상 분야에서의 비미분가능하고 비凸인 최적화 문제에 대해 ADMM(보조변수분할법)의 수렴 속도를 크게 향상시키기 위해 Anderson 가속 기법을 제안한다. ADMM를 고정점 반복으로 간주하고, 특히 분리 가능한 문제에 최적화된 Anderson 가속 기법을 적용함으로써 반복 횟수와 계산 시간을 감소시키며, 영상 응용 분야에서 흔히 나타나는 비凸 구조에 대해 수렴성을 입증한다.

ABSTRACT

The alternating direction method of multipliers (ADMM) is a popular approach for solving optimization problems that are potentially non-smooth and with hard constraints. It has been applied to various computer graphics applications, including physical simulation, geometry processing, and image processing. However, ADMM can take a long time to converge to a solution of high accuracy. Moreover, many computer graphics tasks involve non-convex optimization, and there is often no convergence guarantee for ADMM on such problems since it was originally designed for convex optimization. In this paper, we propose a method to speed up ADMM using Anderson acceleration, an established technique for accelerating fixed-point iterations. We show that in the general case, ADMM is a fixed-point iteration of the second primal variable and the dual variable, and Anderson acceleration can be directly applied. Additionally, when the problem has a separable target function and satisfies certain conditions, ADMM becomes a fixed-point iteration of only one variable, which further reduces the computational overhead of Anderson acceleration. Moreover, we analyze a particular non-convex problem structure that is common in computer graphics, and prove the convergence of ADMM on such problems under mild assumptions. We apply our acceleration technique on a variety of optimization problems in computer graphics, with notable improvement on their convergence speed.

연구 동기 및 목표

• 컴퓨터 영상에서 흔한 고정밀도 시나리오에서 ADMM의 느린 최종 수렴 문제를 해결한다.
• 영상 응용 분야에서 널리 퍼져 있는 비凸 문제에 대해 ADMM의 수렴 보장 부족 문제를 해결한다.
• 가속 기법의 계산 오버헤드를 줄여 실시간 또는 인터랙티브 영상 워크로드에 실용적으로 적용할 수 있도록 한다.
• 문제 특화 조정 없이도 다양한 영상 응용 분야에 일반적으로 적용 가능한 가속 방법을 제공한다.
• 영상 분야에서 흔히 발생하는 비凸 문제 구조에 대해 이론적 수렴성을 확립하여 ADMM의 신뢰성을 향상시킨다.

제안 방법

• 일반적인 경우에서 ADMM을 두 번째 원 primal 변수와 이중 변수에 대한 고정점 반복으로 재구성한다.
• 고정점 반복에 직접적으로 Anderson 가속 기법을 적용하여 수렴 속도를 가속화한다.
• 목표 함수가 분리 가능하고 특정 구조 조건을 만족하는 문제의 경우, 고정점 반복을 단일 변수로 축소하여 가속 기법의 계산 비용을 최소화한다.
• 가속된 반복치를 수락할지 여부를 결정하기 위해 잔차 기반 기준을 도입하여 안정성과 수렴 성능을 향상시킨다.
• 일반적인 영상 문제의 구조를 활용해 Anderson 가속 기법의 적용을 최적화하여 반복당 오버헤드를 감소시킨다.
• 기본적으로 혼합 파라미터 β = 1을 사용하며, 최적의 β 선택은 향후 연구 과제로 남아 있다.

실험 결과

연구 질문

• RQ1 비미분가능하고 비凸인 최적화 문제에서 컴퓨터 영상 분야에서 흔한 ADMM 반복에 대해 Anderson 가속 기법을 효과적으로 적용할 수 있는가?
• RQ2 특히 목표 함수가 분리 가능한 문제에 대해 Anderson 가속 기법의 계산 비용을 어떻게 최소화할 수 있는가?
• RQ3 영상 분야의 비凸 문제에서 ADMM가 수렴하는 조건은 무엇이며, 이를 공식적으로 증명할 수 있는가?
• RQ4 실제 영상 응용 분야에서 Anderson 가속 기법이 반복 횟수와 총 계산 시간을 얼마나 줄이는가?
• RQ5 ADMM의 반복 비용이 매우 낮을 경우 Anderson 가속 기법의 한계는 무엇인가?

주요 결과

• Anderson 가속 기법은 물리 시뮬레이션, 기하 처리, 이미지 처리 등 다양한 영상 응용 분야에서 ADMM의 수렴에 필요한 반복 횟수를 감소시킨다.
• 표준 ADMM 대비 복합 잔차의 감소 속도가 더 빠르며, 이는 동일한 계산 시간 내에 경직된 제약 조건을 더 잘 충족시킴을 그림 1을 통해 입증한다.
• 목표 함수가 분리 가능한 문제의 경우, Anderson 가속 기법의 계산 오버헤드가 크게 감소하여 더 효과적이고 실용적인 성능을 발휘한다.
• 논문은 영상 분야에서 흔히 나타나는 비凸 문제 구조에 대해 온건한 가정 하에 ADMM의 수렴성을 증명하며, 이로 인해 이론적 기반을 확장한다.
• ADMM 반복이 매우 저비용인 경우(예: 벡터 필드 통합), Anderson 가속 기법의 오버헤드가 이득을 상쇄할 수 있으며, 반복 수는 줄어들지만 총 계산 시간은 증가할 수 있다.
• 특수화된 가속 기법보다 일부 사례(예: 웨이브프론트 복원)에서 더 우수한 성능을 발휘하며, GMRES 기반 가속 기법과 유사한 성능을 달성하면서도 일반 목적의 기법임을 입증한다.