[論文レビュー] Accelerated first-order primal-dual proximal methods for linearly constrained composite convex programming

Yangyang Xu|arXiv (Cornell University)|Jun 29, 2016

Sparse and Compressive Sensing Techniques参考文献 29被引用数 4

ひとこと要約

本稿では、線形制約付き複合凸最適化問題に対して、加速された一次順序の原双対法——加速線形化増大ラグランジュ法（LALM）および加速線形化ADMM（LADMM）——を提案する。滑らか項と増大ラグランジュ項の線形化と適応的パラメータ選択を組み合わせることで、弱凸性または強凸性の仮定のもとで、O(1/t²) の収束速度を達成し、非加速法および既存の加速法と比較して著しく高速な収束を実現する。

ABSTRACT

Motivated by big data applications, first-order methods have been extremely popular in recent years. However, naive gradient methods generally converge slowly. Hence, much efforts have been made to accelerate various first-order methods. This paper proposes two accelerated methods towards solving structured linearly constrained convex programming, for which we assume composite convex objective. The first method is the accelerated linearized augmented Lagrangian method (LALM). At each update to the primal variable, it allows linearization to the differentiable function and also the augmented term, and thus it enables easy subproblems. Assuming merely weak convexity, we show that LALM owns $O(1/t)$ convergence if parameters are kept fixed during all the iterations and can be accelerated to $O(1/t^2)$ if the parameters are adapted, where $t$ is the number of total iterations. The second method is the accelerated linearized alternating direction method of multipliers (LADMM). In addition to the composite convexity, it further assumes two-block structure on the objective. Different from classic ADMM, our method allows linearization to the objective and also augmented term to make the update simple. Assuming strong convexity on one block variable, we show that LADMM also enjoys $O(1/t^2)$ convergence with adaptive parameters. This result is a significant improvement over that in [Goldstein et. al, SIIMS'14], which requires strong convexity on both block variables and no linearization to the objective or augmented term. Numerical experiments are performed on quadratic programming, image denoising, and support vector machine. The proposed accelerated methods are compared to nonaccelerated ones and also existing accelerated methods. The results demonstrate the validness of acceleration and superior performance of the proposed methods over existing ones.

研究の動機と目的

• 大規模凸最適化における一次順序法の収束遅さを解消すること。特に、ビッグデータ応用を想定する。
• 滑らかでない凸関数の和として表される線形制約付き複合凸計画問題に対して、効率的なアルゴリズムを開発すること。
• 原双対法における線形化技術と適応的パラメータ選択を組み合わせることで、より速い収束速度を達成すること。
• 既存の加速法を拡張し、滑らか項および増大ラグランジュ項の両方を線形化することで、部分問題の解法を簡素化すること。

提案手法

• 滑らか関数 f と部分問題における増大ラグランジュ項の両方を線形化することで、閉形式の更新が可能になる、加速線形化増大ラグランジュ法（LALM）を導入する。
• 三重点列（x^k, x̂^k, x̄^k）と適応的パラメータ（α_k, β_k, γ_k, P^k）を用いて、標準的な O(1/t) 速度を超える収束を加速する。
• 二ブロック構造問題を対象とした加速線形化ADMM（LADMM）を提案し、目的関数および増大項の両方を線形化することで部分問題を簡素化する。
• 部分問題の更新を安定化・加速するために、正定値行列 P^k を用いた近似項を導入する。
• 反復ごとにパラメータを適応的に変更する（例：β_k ∝ (k+1)/||B||²）ことで、一方のブロック変数における強凸性のもとで O(1/t²) 収束を達成する。
• 二次計画法、画像ノイズ除去、サポートベクターマシンへの応用を通じて、実用的効率性を実証する。

実験結果

リサーチクエスチョン

• RQ1 原双対法において、滑らか項および増大ラグランジュ項の両方を線形化しても、依然として O(1/t²) 収束を達成できるか？
• RQ2 線形化増大ラグランジュフレームワークにおける適応的パラメータ選択は、固定パラメータ法と比較してより速い収束をもたらすか？
• RQ3 LALM法において、両ブロックで強凸性が要求されない弱凸性のもとでも、O(1/t²) 収束を達成できるか？
• RQ4 提案された加速LADMMは、古典的ADMMおよび非加速線形化ADMMと比較して、収束速度および解の品質において優れているか？
• RQ5 提案された加速技術は、SVM、画像ノイズ除去、二次計画法など多様な応用分野において、ロバストかつ有効であるか？

主な発見

• 加速線形化ALMは、固定パラメータの標準的 O(1/t) 速度と比較して、弱凸性のもとでも O(1/t²) 収束を達成し、顕著な改善を示す。
• 加速LADMMは、一方のブロック変数における強凸性のもとで O(1/t²) 収束を達成し、両ブロックで強凸性を要する既存手法を上回る。
• 数値実験では、二次計画法、画像ノイズ除去、SVM タスクにおいて、非加速手法および既存の加速手法と比較して、提案手法が著しく高速に収束することが示された。
• 適応的パラメータ戦略（例：β_k ∝ (k+1)）は、特に初期反復において、固定パラメータ設定よりも速い収束を実現する。
• 滑らか項および増大項の両方の線形化により、部分問題が簡素化され、g が単純な場合（例：ℓ₁ノルムや指示関数）に閉形式解が得られる。
• SVM 実験では、加速線形化ADMMが、非加速線形化ADMMおよび古典的非線形化ADMMの両方を、目的関数値および妥当性の観点で上回った。