[논문 리뷰] ALiA: Adaptive Linearized ADMM

Uijeong Jang, Kaizhao Sun외 2명|arXiv (Cornell University)|2026. 02. 16.

Sparse and Compressive Sensing Techniques인용 수 0

한 줄 요약

ALiA는 backtracking 선검색 없이 스텝사이즈를 선택하는 FLiP ADMM의 적응형 변형으로, 볼록 미분가능 목적함수에 대한 전역 수렴 보장을 가지며 실용적 속도가 개선된다.

ABSTRACT

We propose ALiA, a novel adaptive variant of the alternating direction method of multipliers (ADMM). Specifically, ALiA is a variant of function-linearized proximal ADMM (FLiP ADMM), which generalizes the classical ADMM by leveraging the differentiable structure of the objective function, making it highly versatile. Notably, ALiA features an adaptive stepsize selection scheme that eliminates the need for backtracking linesearch. Motivated by recent advances in adaptive gradient and proximal methods, we establish point convergence of ALiA for convex and differentiable objectives. Furthermore, by introducing negligible computational overhead, we develop an alternative stepsize selection scheme for ALiA that improves the convergence speed both theoretically and empirically. Extensive numerical experiments on practical datasets confirm the accelerated performance of ALiA compared to standard FLiP ADMM. Additionally, we demonstrate that ALiA either outperforms or matches the practical performance of existing adaptive methods across problem classes where it is applicable.

연구 동기 및 목표

• 선형 제약 하에서 원시 변수와 이중 변수 모두를 포함하는 광범위한 볼록 최적화 문제를 동기 부여하고 해결한다.
• backtracking 선검색에 의존하지 않고 primal- dual ADMM에 적응성을 도입한다.
• 수렴을 보장하기 위해 반복에 의존하는 양에 기반한 적응적 스텝사이즈 규칙을 개발한다.
• 표준 FLiP ADMM 및 경쟁력 있는 적응 방법에 비해 실용적 성능이 향상됨을 입증한다.

제안 방법

• x와 y에 대해 매끄러운 부분의 기울기와 선형 연산자 A 및 B를 이용한 proximal 업데이트를 사용한다.
• x와 y에 대해 매끄러운 부분의 기울기와 선형 연산자 A 및 B를 사용한 proximal 업데이트를 사용한다.
• 먼저 이중 변수 u를 업데이트한 다음 원시 업데이트를 계산하고, gamma_k+1 및 이중 방향 Δu^{k+1}를 설정하기 위해 적응 서브루틴을 활용한다.
• 서브루틴 1 및 서브루틴 2는 반복에 의존하는 곡률 및 연산자 노름 추정을 사용하여 backtracking 없이 적응적 스텝사이즈와 이중 업데이트를 계산한다.
• proximal-연산자 기반 재구성(u^{k+1}, x^{k+1}, y^{k+1})을 제공하고, 볼록성 및 국소적 매끄러움 가정 하에서 수렴을 보인다.
• 제안된 적응 스킴 하에서 Lagrangian의 샅대점으로의 수렴(정리 2.1)을 확립한다.

실험 결과

연구 질문

• RQ1 ALiA가 볼록성 및 국소적 매끄러움 하에서 일반 FLiP-ADMM 문제 클래스에 대해 전역적으로 안장점으로 수렴하는가?
• RQ2 ALiA가 backtracking 선검색을 사용하지 않으면서 표준 FLiP ADMM 및 다른 적응형 primal-dual 방법들보다 실험적으로 더 빠른 수렴을 달성할 수 있는가?
• RQ3 적응적 스텝사이즈 규칙(Subroutine 1 및 Subroutine 2)이 반복에 의존하는 양을 어떻게 활용하여 안정성과 속도를 보장하는가?
• RQ4 미분가능한 및 비미분가능한 구성요소를 가진 문제들 전반에서 Condat–Vu 및 다른 적응형 스킴에 비해 ALiA의 성능은 어떤가?

주요 결과

• ALiA는 명시된 가정 하에서 볼록하고 국소적으로 매끄러운 목적함수에 대해 전역적으로 안장점으로 수렴한다.
• 과거 반복에 의존하는 적응 규칙 덕분에 backtracking 선검색 없이 수렴을 유지한다.
• 본 논문은 이론적 및 실험적으로 더 큰 스텝사이즈와 향상된 수렴 속도를 제공하는 두 가지 적응 서브루틴을 도입한다.
• 실제 데이터 세트에 대한 실험 결과는 표준 FLiP ADMM에 비해 ALiA의 성능이 가속되고 기존 적응 방법과 경쟁력 있는 성능을 보임을 보여준다.
• ALiA는 적용 가능한 문제 군에서 우수하거나 유사한 성능을 보여준다.