[논문 리뷰] A Proximal Alternating Direction Method of Multiplier for Linearly Constrained Nonconvex Minimization

Jiawei Zhang, Zhi‐Quan Luo|arXiv (Cornell University)|2018. 12. 26.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 7

한 줄 요약

이 논문은 선형 제약 조건이 있는 비볼록 최소화 문제를 위한 보정된 보조 방향 미분법(ADMM)을 제안한다. 보정된 원본 반복 수열과 보조 라그랑지안에 포함된 이차 보정 항을 도입하여 진동을 안정화시킨다. 전역 수렴을 입증하며, ε-정류점에 수렴하는 데 필요한 반복 복잡도를 𝒪(1/ε²)로 향상시켰고, 이는 이전 최선의 복잡도 𝒪(1/ε³)를 능가한다. 또한 새로운 잠재 함수와 오차 한계 분석을 사용하여 이차 목표 함수에 대해 선형 수렴을 증명한다.

ABSTRACT

Consider the minimization of a nonconvex differentiable function over a polyhedron. A popular primal-dual first-order method for this problem is to perform a gradient projection iteration for the augmented Lagrangian function and then update the dual multiplier vector using the constraint residual. However, numerical examples show that this approach can exhibit "oscillation" and may not converge. In this paper, we propose a proximal alternating direction method of multipliers for the multi-block version of this problem. A distinctive feature of this method is the introduction of a "smoothed" (i.e., exponentially weighted) sequence of primal iterates, and the inclusion, at each iteration, to the augmented Lagrangian function a quadratic proximal term centered at the current smoothed primal iterate. The resulting proximal augmented Lagrangian function is inexactly minimized (via a gradient projection step) at each iteration while the dual multiplier vector is updated using the residual of the linear constraints. When the primal and dual stepsizes are chosen sufficiently small, we show that suitable "smoothing" can stabilize the "oscillation", and the iterates of the new proximal ADMM algorithm converge to a stationary point under some mild regularity conditions. Furthermore, when the objective function is quadratic, we establish the linear convergence of the algorithm. Our proof is based on a new potential function and a novel use of error bounds.

연구 동기 및 목표

• 표준 ADMM가 비볼록이고 선형 제약 조건이 있는 문제에서 불안정성과 수렴성 부족 문제를 해결하기 위해.
• 원본-쌍대 경사수행 방법에서 흔히 발생하는 진동 행동을 보정된 원본 반복 수열을 통해 안정화하기 위해.
• ε-정류점 해를 찾는 데 있어 향상된 반복 복잡도를 갖는 일阶 방법을 개발하기 위해.
• 유사한 조건 하에서 전역 수렴을 정류점으로 보장하기 위해.
• 이차 목표 함수에 대해 새로운 잠재 함수와 오차 한계 기법을 사용하여 선형 수렴을 증명하기 위해.

제안 방법

• 알고리즘의 안정성을 높이기 위해 기하급수적 가중치를 부여한 보정된 원본 반복 수열을 도입한다.
• 각 반복 단계에서 현재 보정된 반복값을 중심으로 하는 이차 보정 항을 보조 라그랑지안 함수에 추가한다.
• 경사수행 단계를 통해 보정된 보조 라그랑지안의 비정확한 최소화를 수행한다.
• 선형 제약 조건의 잔차를 사용하여 이중 승수를 갱신한다.
• 수렴성을 증명하기 위해 새로운 잠재 함수와 오차 한계 분석을 활용한다.
• 안정성과 수렴성을 보장하기 위해 충분히 작은 원본 및 이중 승수 단계 크기 전략을 신중히 선택한다.

실험 결과

연구 질문

• RQ1 비볼록이고 선형 제약 조건이 있는 최적화 문제에서 진동 행동을 안정화할 수 있는 보정된 ADMM 변종이 존재하는가?
• RQ2 비볼록 문제에서 ε-정류점 해를 찾는 데 필요한 보정된 ADMM의 반복 복잡도는 얼마인가?
• RQ3 제안된 방법은 온건한 정규성 조건 하에서 전역적으로 정류점으로 수렴하는가?
• RQ4 목표 함수가 이차 함수일 경우 선형 수렴을 확립할 수 있는가?
• RQ5 실제 적용에서 표준 ADMM에 비해 수렴 속도와 효율성 측면에서 새 방법이 어떻게 성능을 냈는가?

주요 결과

• 원본 및 이중 승수 단계 크기가 충분히 작을 경우, 제안된 보정된 ADMM는 온건한 정규성 조건 하에서 전역적으로 정류점으로 수렴한다.
• ε-정류점 해를 찾는 데 필요한 반복 복잡도는 𝒪(1/ε²)이며, 이는 이 분야에서 이전에 알려진 최선의 복잡도 𝒪(1/ε³)를 능가한다.
• 이차 목표 함수에 대해 알고리즘이 선형 수렴을 보이며, 이는 강력한 전역 수렴 보장을 의미한다.
• 수치 실험 결과, 제안된 방법이 원래의 이중 루프 ADMM보다 훨씬 효율적이며, 훨씬 적은 경사수행 평가 횟수를 요구한다.
• 수렴 분석은 새로운 잠재 함수와 정교화된 오차 한계 기법에 기반하며, 더 강력한 이론적 보장을 가능하게 한다.
• 보정된 원본 반복 수열과 보정 정규화를 통합함으로써 표준 ADMM에서 관찰되는 진동 행동을 안정화시킨다.