[論文レビュー] Convergence Analysis of A Proximal Linearized ADMM Algorithm for Nonconvex Nonsmooth Optimization

Maryam Yashtini|arXiv (Cornell University)|Jan 1, 2020

Sparse and Compressive Sensing Techniques参考文献 56被引用数 3

ひとこと要約

本稿では、線形制約付き非凸・非滑らか最適化問題を解くための可変メトリックプロキシマル線形化ADMM（PL-ADMM）を提案する。適応的プロキシマル項とオーバー・リラクセーションを組み込むことで、列挙が有界であり、臨界点に収束することが保証される。カーディカ＝ロジャシエフスキー（KŁ）性質のもとでは、有限収束長が達成され、収束速度がKŁ指数θに依存する。θ = 0のときには有限時間収束が達成され、θ ∈ (0, 1/2)ではR線形収束が得られ、θ ∈ (1/2, 1)ではsublinear O(1/k^r)速度が得られる。

ABSTRACT

In this paper, we consider a proximal linearized alternating direction method of multipliers (PL-ADMM) for solving linearly constrained nonconvex and possibly nonsmooth optimization problems. The algorithm is generalized by using variable metric proximal terms in the primal updates and an over-relaxation stepsize in the multiplier update. We prove that the sequence generated by this method is bounded and its limit points are critical points. Under the powerful Kurdyka-{Łojasiewicz} properties we prove that the sequence has a finite length thus converges, and we drive its convergence rates.

研究の動機と目的

• 本稿の目的は、非凸・非滑らか設定におけるプロキシマル線形化ADMMの変種について、収束性と収束速度を確立することである。
• ADMMは非凸問題においても実用的に成功しているが、理論的保証が不足しているという問題に取り組む。
• 一般的な仮定のもとで有界性と臨界点への収束を証明することを目的とする。
• カーディカ＝ロジャシエフスキー（KŁ）性質に基づき、収束速度をKŁ指数θに結びつける。
• 標準ADMMの一般化として、可変メトリックとオーバー・リラクセーションを用いることで収束性を向上させることを目的とする。

提案手法

• アルゴリズムはプライマル更新において可変メトリックプロキシマル項を用い、適応的正則化を可能にする。
• 双対（乗数）更新においてオーバー・リラクセーションステップサイズを組み込むことで、収束安定性を向上させる。
• 収束性の分析にはカーディカ＝ロジャシエフスキー（KŁ）不等式を用い、臨界点付近での目的関数の鋭さを特徴付ける。
• 有界性とKŁ性質に依存して、列挙が有限長かつコーシー列であることを証明することで収束を確立する。
• リャプノフ関数の減衰と収束速度の関係を結ぶために、desingularizing関数 ψ(s) = s^{1−θ} を用いる。
• 重要な不等式では、KŁ条件とリャプノフ関数 Rk を用いて、プライマルおよび双対ステップサイズのノルムを評価する。

実験結果

リサーチクエスチョン

• RQ1 提案されたPL-ADMMアルゴリズムは、線形制約付き非凸・非滑らか問題に対して臨界点に収束するか？
• RQ2 PL-ADMMが生成する列挙が有限長かつ収束するための条件は何か？
• RQ3 カーディカ＝ロジャシエフスキー（KŁ）指数θと目的関数の構造は、収束速度にどのように影響するか？
• RQ4 収束速度はKŁ指数θの観点から定量的に評価可能か？また、θの異なる範囲に対して具体的な収束速度は何か？
• RQ5 可変メトリックプロキシマル項とオーバー・リラクセーションの導入により、標準ADMMと比較して収束性が向上するか？

主な発見

• 標準的な仮定のもとで、PL-ADMMアルゴリズムが生成する列挙は有界であり、臨界点に収束する。
• カーディカ＝ロジャシエフスキー（KŁ）指数がθ = 0を満たす場合、有限長収束が達成され、有限回の反復で収束する。
• θ ∈ (0, 1/2)では収束速度がR線形であり、|||uk − u∞||| ≤ C q^k を満たすq ∈ (0, 1) が存在する。これは高速な局所収束を示す。
• θ ∈ (1/2, 1)では収束速度が非線形であり、具体的にはO(1/k^r)（r = (1−θ)/(2θ−1)）の形をとる。θが1に近づくにつれて速度は低下する。
• 収束速度はKŁ指数に定量的に関連しており、θが小さいほど減衰が速く、θ = 0では有限時間収束が達成される。
• 分析により、収束速度はdesingularizing関数 ψ(s) = s^{1−θ} と臨界点におけるKŁ性質に依存することが示された。