[論文レビュー] ALiA: Adaptive Linearized ADMM

Uijeong Jang, Kaizhao Sun+2 more|arXiv (Cornell University)|Feb 16, 2026

Sparse and Compressive Sensing Techniques被引用数 0

ひとこと要約

ALiA は backtracking linesearch なしでステップサイズを選択する FLiP ADMM の適応変種であり、凸微分可能目的関数に対するグローバル収束保証と実用的な速度向上を実現する。

ABSTRACT

We propose ALiA, a novel adaptive variant of the alternating direction method of multipliers (ADMM). Specifically, ALiA is a variant of function-linearized proximal ADMM (FLiP ADMM), which generalizes the classical ADMM by leveraging the differentiable structure of the objective function, making it highly versatile. Notably, ALiA features an adaptive stepsize selection scheme that eliminates the need for backtracking linesearch. Motivated by recent advances in adaptive gradient and proximal methods, we establish point convergence of ALiA for convex and differentiable objectives. Furthermore, by introducing negligible computational overhead, we develop an alternative stepsize selection scheme for ALiA that improves the convergence speed both theoretically and empirically. Extensive numerical experiments on practical datasets confirm the accelerated performance of ALiA compared to standard FLiP ADMM. Additionally, we demonstrate that ALiA either outperforms or matches the practical performance of existing adaptive methods across problem classes where it is applicable.

研究の動機と目的

• 線形制約の下で primal 変数と dual 変数の両方を扱う広範な凸最適化問題を動機づけて解く。
• バックトラック型の linesearch に依存せず primal-dual ADMM に適応性を導入する。
• 収束を保証するために iterate に依存する量に依存する適応的ステップサイズルールを開発する。
• 標準的な FLiP ADMM および競合する adaptive methods に比して実用的性能を改善する。

提案手法

• 一般形の問題（ differentiable および non-differentiable コンポーネントを含む）に対する FLiP ADMM の適応変型である ALiA を提案する。
• 滑らかな部分の勾配と線形演算子 A および B に対する x および y の近接更新を用いる。
• まず dual 変数 u を更新し、次に primal 更新を計算する。適応サブルーチンを活用して gamma_k+1 と dual direction Δu^{k+1} を設定する。
• サブルーチン 1 および サブルーチン 2 は、バックトラッキングなしで iterate-dependence に基づく曲率と演算子ノルムの推定を用いて適応的なステップサイズと dual 更新を計算する。
• 近接演算子に基づく reformulation（u^{k+1}, x^{k+1}, y^{k+1}）を提供し、凸性と局所的平滑性の仮定の下で収束を示す。
• 提案された適応スキームの下でラグランジアンの鞍点へ収束することを定理 2.1（Theorem 2.1）として確立する。

実験結果

リサーチクエスチョン

• RQ1 ALiA は convexity および局所的な平滑性の下で一般的な FLiP-ADMM 問題クラスにグローバルに鞍点へ収束するか。
• RQ2 ALiA は backtracking linesearch を使わず、標準的な FLiP ADMM および他の適応 primal-dual 方法よりも経験的に faster 収束を達成できるか。
• RQ3 適応ステップサイズルール（サブルーチン 1 およびサブルーチン 2）が iterate-dependent quantities をどう活用して安定性と速度を確保するか。
• RQ4 ALiA は differentiable および non-d differentiable コンポーネントを持つ問題に対して Condat–Vu や他の適応スキームと比較してどのような性能を示すか。

主な発見

• ALiA は stated の仮定の下、凸かつ局所的に滑らかな目的関数に対してグローバルに鞍点へ収束する。
• 過去のイテレートに依存する適応ルールのおかげで、backtracking linesearch なしで収束を保つ。
• 本論文は適応的な二つのサブルーチンを導入し、より大きなステップサイズと収束速度の向上を理論的にも実証的にも示す。
• 実データセット上の経験的結果は、標準的な FLiP ADMM に比べて ALiA の性能が加速され、既存の適応法と競合する性能を示す。
• ALiA は適用可能な問題クラス全体で優位または同等の性能を示す。