[논문 리뷰] An inertial alternating direction method of multipliers

Radu Ioan Boţ, Ernö Robert Csetnek|arXiv (Cornell University)|2014. 04. 17.

Optimization and Variational Analysis참고 문헌 29인용 수 70

한 줄 요약

이 논문은 힐버트 공간 내에서의 볼록 최적화를 위해 고전적 ADMM에 관성 효과를 통합함으로써 관성 있는 분할 증분 방법(ADMM)을 제안한다. 이는 관성 도우글라스-라흐포드 분할 프레임워크를 통해 이루어지며, 반복 해와 목적 함수 값의 약한 수렴을 달성한다. 표준 단조성 및 정규성 조건 하에서 전역 수렴 보장을 갖추며, 관성 매개변수 값이 0이 되는 경우 고전적 ADMM의 특수한 경우로 일반화된다.

ABSTRACT

In the context of convex optimization problems in Hilbert spaces, we induce inertial effects into the classical ADMM numerical scheme and obtain in this way so-called inertial ADMM algorithms, the convergence properties of which we investigate into detail. To this aim we make use of the inertial version of the Douglas-Rachford splitting method for monotone inclusion problems recently introduced in [12], in the context of concomitantly solving a convex minimization problem and its Fenchel dual. The convergence of both sequences of the generated iterates and of the objective function values is addressed. We also show how the obtained results can be extended to the treating of convex minimization problems having as objective a finite sum of convex functions.

연구 동기 및 목표

• 볼록 최적화 문제에서 수렴 속도를 향상시키기 위해 고전적 ADMM 알고리즘의 관성 변종을 개발한다.
• 유한 차원 설정을 초월하여 무한 차원 힐버트 공간으로 ADMM 프레임워크를 확장하여 일반성을 높인다.
• 관성 역학 하에서 원본 및 이중 반복 해와 목적 함수 값의 수렴성을 확립한다.
• 제안된 관성 계획으로서의 특수한 경우로 기존의 ADMM 유형 알고리즘을 통합 및 일반화한다.
• 단조 연산자 이론과 펜첼 쌍대성에 기반하여 관성 효과가 ADMM에 미치는 이론적 기초를 제공한다.

제안 방법

• 방법은 단조 포함 문제에 적용된 관성 도우글라스-라흐포드 분할 알고리즘에서 유도된 관성 ADMM를 제시한다.
• 두 번째 이전 반복값에서의 외삽을 통해 관성 효과를 유도하기 위해 시간 이산화된 두 번째 차수 미분 포함을 사용한다.
• 최대 단조 연산자의 해석과 볼록 함수의 미분계수를 포함하는 원본-이중 분할 기반 알고리즘을 수립한다.
• 핵심 구성 요소로는 운동량 유사 업데이트를 제어하는 관성 매개변수 $\alpha_k$와 오버릴렉세이션을 위한 조정 매개변수 $\lambda_k$가 포함된다.
• $x^{k+1}$, $z_i^{k+1}$, $y_i^{k+1}$의 업데이트 규칙은 관성 항이 포함된 증강 라그랑지안을 최소화함으로써 유도된다.
• 알고리즘은 단일 및 유한 합 볼록 최적화 문제에 적용되었으며, 펜첼 쌍대성과 정규성 조건 하에서 수렴이 증명되었다.

실험 결과

연구 질문

• RQ1 관성 효과가 고전적 ADMM 프레임워크에 성공적으로 통합되어 볼록 최적화에서 수렴 속도를 향상시킬 수 있는가?
• RQ2 유한 차원 설정과 비교하여 관성 ADMM는 무한 차원 힐버트 공간에서 어떻게 성능을 발휘하는가?
• RQ3 수렴을 보장하기 위해 관성 매개변수 $\alpha_k$와 조정 매개변수 $\lambda_k$에 필요한 조건는 무엇인가?
• RQ4 관성 매개변수 $\alpha_k$가 0이 되는 경우 관성 ADMM는 고전적 ADMM로 복원되는가?
• RQ5 제안된 방법은 수렴성을 유지하면서 볼록 함수의 유한 합을 다룰 수 있도록 확장될 수 있는가?

주요 결과

• 관성 매개변수 $\alpha_k$가 유계이면서 비감소일 경우, 관성 ADMM 알고리즘이 원본 문제의 최적 해로 약한 수렴하고 이중 최적 해로도 약한 수렴한다.
• 시퀀스 $\overline{z}_i^k$는 0으로 강한 수렴하며, 이는 관성 보정 항이 渐진적으로 사라짐을 나타낸다.
• $x_i^{k+1} - z_i^k$의 차이는 0으로 강한 수렴하며, 이는 극한에서 원본 타당성을 보장한다.
• 이중 반복 해 $y_i^k$는 최적 이중 해 $\overline{v}_i$로 약한 수렴하며, 쌍대 함수 $f_i^*$가 강한 볼록성을 갖는 경우 강한 수렴을 보인다.
• 목적 함수 값은 최적 값 $v(P^\Sigma) = v(D^\Sigma)$로 수렴하여 최적 비용 수렴을 확인한다.
• 모든 $k \geq 1$에 대해 $\alpha_k = 0$일 경우 고전적 ADMM가 특수한 경우로 복원되며, 일반화의 타당성을 검증한다.