[논문 리뷰] Alternating direction method of multipliers with variable step sizes

Sören Bartels, Marijo Milicevic|arXiv (Cornell University)|2017. 04. 20.

Antenna Design and Optimization참고 문헌 35인용 수 4

한 줄 요약

이 논문은 잔차의 단조성에 기반해 단계 크기를 적응적으로 조정하는 가변 단계 크기의 분할 역할 방법(Variable-ADMM)을 제안한다. 이는 수렴성을 향상시키기 위한 것이다. 수치 실험에서 고정 단계 크기 또는 최적화된 단계 크기의 변형보다 더 빠른 수렴과 적은 반복 횟수를 달성한다. 특히 편미분방정식 제약 조건이 있는 문제와 영상 문제에서 두드러진 성능 향상을 보인다.

ABSTRACT

The alternating direction method of multipliers (ADMM) is a flexible method to solve a large class of convex minimization problems. Particular features are its unconditional convergence with respect to the involved step size and its direct applicability. This article deals with the ADMM with variable step sizes and devises an adjustment rule for the step size relying on the monotonicity of the residual and discusses proper stopping criteria. The numerical experiments show significant improvements over established variants of the ADMM.

연구 동기 및 목표

• 볼록 최소화 문제에서 ADMM 수렴의 단계 크기 선택에 대한 민감성을 해결한다.
• 문제 상수의 사전 지식이 필요 없이도 수렴을 향상시키는 적응형 단계 크기 규칙을 개발한다.
• 반복 과정에서 잔차의 단조성을 모니터링하여 수렴성과 강건성을 확보한다.
• 잔차 제어에 기반한 효과적인 멈춤 기준을 제공하여 해의 정확성을 보장한다.
• 수치 기준 시험에서 고정 단계 크기 및 최적화된 단계 크기 ADMM 변형보다 뚜렷한 성능 향상을 입증한다.

제안 방법

• 잔차가 단조롭게 감소하는지 여부에 따라 τ를 증가 또는 감소시키는 적응형 단계 크기 규칙을 도입한다.
• 수렴 진전을 유지하기 위해 잔차 노름 ‖Bu^j − p^j‖_Y 를 단계 크기 조정의 모니터로 사용한다.
• R_j ≤ ε_stop / C_0 를 요구하는 멈춤 기준을 구현하여 원시 및 이중 잔차를 모두 제어한다.
• 보조 변수 p = Bu 로 재구성된 형태의 볼록 최소화 문제 inf_u F(Bu) + G(u) 에 적용한다.
• ADMM 업데이트를 위해 증강 라그랑주 함수 ℒ_τ(u,p;λ) = F(p) + G(u) + (λ, Bu − p)_Y + (τ/2)‖Bu − p‖_Y^2 를 사용한다.
• 각 반복에서 u 와 p 에 대해 교차 최소화를 수행하고, 이중 변수(λ)를 업데이트하며, 반복마다 변수 τ 를 사용한다.

실험 결과

연구 질문

• RQ1 강력한 볼록성 또는 리프시츠 상수의 지식이 없이도 적응형 단계 크기 규칙이 ADMM의 수렴 속도를 향상시킬 수 있는가?
• RQ2 잔차의 단조성이 ADMM에서 단계 크기 조정에 어떻게 기여하여 수렴을 보장하는가?
• RQ3 고정 또는 최적화된 단계 크기와 비교해 가변 단계 크기가 반복 횟수와 해의 정확성에 미치는 영향은 무엇인가?
• RQ4 원시 및 이중 잔차를 효과적으로 제어할 수 있는 강건한 멈춤 기준을 유도할 수 있는가?
• RQ5 Variable-ADMM 는 실질적인 편미분방정식 제약 조건이 있는 문제 및 영상 문제에서 기존의 ADMM 변형보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• 모든 테스트 문제에서 Variable-ADMM 는 고정 단계 크기 및 최적화된 단계 크기 ADMM 변형보다 유의미하게 낮은 반복 횟수를 기록한다.
• τ = h^{-2} 인 p-Laplace 문제에서 Variable-ADMM 는 표준 및 최적화된 단계 크기 ADMM 둘 다를 뛰어넘는 더 적은 반복 횟수를 요구한다.
• 단계 크기의 재초기화가 총 반복 횟수에 미치는 영향이 미미하여, 초기 선택에 대해 강건함을 시사한다.
• 메서드는 잔차 행동에 기반해 τ 를 동적으로 조정함으로써 수렴성을 유지하고 성능을 향상시킨다.
• 멈춤 기준 R_j ≤ ε_stop / C_0 는 원시 및 이중 잔차를 효과적으로 제어하여 해의 정확성을 보장한다.
• 수치 실험 결과, 실질적으로 가변 단계 크기가 고정 또는 최적화된 단계 크기보다 더 빠른 수렴을 이끌어낸다.