[논문 리뷰] A Majorized ADMM with Indefinite Proximal Terms for Linearly Constrained Convex Composite Optimization

Min Li, Defeng Sun외 1명|arXiv (Cornell University)|2014. 12. 05.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 4

한 줄 요약

이 논문은 선형 제약 조건이 붙은 복합 볼록 최적화 문제를 해결하기 위해 부정확한 보조 항을 갖는 주요화된 수렴 다중 승수 방법(ADMM)을 제안한다. 전통적인 준정부정성 조건 대신 부정확한 보조 항을 允허함으로써, (0, (1+√5)/2) 범위 내의 스텝 길이에 대해 전역 수렴성과 향상된 반복 복잡도를 달성하며, 수치 결과에서는 표준 ADMM 대비 최대 70% 감소한 반복 횟수를 보였다.

ABSTRACT

This paper presents a majorized alternating direction method of multipliers (ADMM) with indefinite proximal terms for solving linearly constrained $2$-block convex composite optimization problems with each block in the objective being the sum of a non-smooth convex function and a smooth convex function, i.e., $\min_{x \in {\cal X}, \; y \in {\cal Y}}\{p(x)+f(x) + q(y)+g(y)\mid A^* x+B^* y = c\}$. By choosing the indefinite proximal terms properly, we establish the global convergence and $O(1/k)$ ergodic iteration-complexity of the proposed method for the step-length $τ\in (0, (1+\sqrt{5})/2)$. The computational benefit of using indefinite proximal terms within the ADMM framework instead of the current requirement of positive semidefinite ones is also demonstrated numerically. This opens up a new way to improve the practical performance of the ADMM and related methods.

연구 동기 및 목표

• 표준 ADMM가 준정부정성 보조 항을 요구하는 한계를 해결하여 수렴성과 효율성을 향상시키기 위해.
• 실제 성능 향상을 위해 부정확한 보조 항을 허용하는 수렴 가능한 ADMM 변종을 개발하기 위해.
• 완화된 조건 하에서 전역 수렴성과 비에르고딕/에르고딕 반복 복잡도 한계를 확립하기 위해.
• 부정확한 보조 항이 실질적으로 반복 횟수를 크게 감소시킨다는 것을 수치적으로 입증하기 위해.
• 전통적인 준정부정성 정규화를 초월해 ADMM의 이론적 및 실용적 범위를 확장하기 위해.

제안 방법

• 보조 항이 부정확한 형태로 추가된 하위문제에서 보조 라그랑지안을 최소화하는 주요화된 ADMM 프레임워크를 도입한다.
• 부드러운 부분의 목적 함수에 대한 볼록 상계를 구성하기 위해 주요화 기법을 사용하여 하위문제의 효율적 해법을 가능하게 한다.
• S = ρ₃I - Σ̂_f - σAA* 형태의 부정확한 보조 항을 적용하며, 여기서 ρ₃는 하위문제 헤시안에 충분한 정부정성을 확보하기 위해 선택된다.
• 잔차가 임계값을 초과할 경우 재시작 전략을 적용하여 수렴성을 유지하기 위해 동적으로 보조 매개변수 γ₃를 증가시킨다.
• S가 부정확할 수 있도록 허 允허는 조건 $ Σ̂_f + S + ησAA* ≻ 0 $ 를 기반으로 한 새로운 수렴 분석에 의존한다.
• τ ∈ (0, (1+√5)/2) 에서 비에르고딕 및 에르고딕 양상의 반복 복잡도 한계를 유도하며, 고전적 ADMM을 향상시킨다.

실험 결과

연구 질문

• RQ1 복합 볼록 문제에 대해 부정확한 보조 항을 사용해도 ADMM의 수렴성이 유지될 수 있는가?
• RQ2 부정확한 보조 항에 대해 어떤 조건이 전역 수렴성과 반복 복잡도 한계를 보장하는가?
• RQ3 부정확한 보조 항을 갖는 ADMM의 성능은 표준 sPADMM에 비해 실질적으로 어떻게 다른가?
• RQ4 부정확한 항의 사용이 주어진 정밀도에 도달하기 위한 반복 횟수를 줄일 수 있는가?
• RQ5 ADMM에서 준정부정성 보조 항을 부정확한 것으로 대체할 경우 이론적 및 실용적 영향은 무엇인가?

주요 결과

• 제안된 주요화된 iPADMM는 부정확한 보조 항을 사용하여 τ ∈ (0, (1+√5)/2) 범위에서 전역 수렴성을 확보하며, 고전적 수렴 범위를 확장한다.
• 수치 실험 결과, 다양한 문제 크기에서 iPADMM는 표준 sPADMM 대비 50–70% 감소한 반복 횟수를 기록한다.
• 8000 × 16000 문제의 경우, τ = 1.618일 때 iPADMM는 sPADMM의 57.7%의 반복 수를 필요로 했고, τ = 1일 땐 53.1%에 그쳤다.
• 매개변수 선택에 대해 강건하며, 문제 인스턴스당 최대 한 번의 재시작만 발생하여 유한한 재시작 횟수를 보장한다.
• 부정확한 보조 항의 사용은 하위문제 해법을 빠르게 하고, 특히 대규모 문제에서 더 나은 조건 수를 제공한다.
• 이론적 분석은 새로운 부정확한 보조 항 프레임워크 하에서 비에르고딕 및 에르고딕 반복 복잡도 한계가 유지됨을 확인한다.