[論文レビュー] On the non-ergodic convergence rate of an inexact augmented Lagrangian framework for composite convex programming

Ya‐Feng Liu, Xin Liu+1 more|arXiv (Cornell University)|Mar 18, 2016

Sparse and Compressive Sensing Techniques参考文献 18被引用数 3

ひとこと要約

本稿は、線形制約を伴う複合凸最適化のための不正確な増大ラグランジュ（IAL）フレームワークを提案する。ここで、増大ラグランジュ部分問題は、より弱い停止基準を用いて近似的に解かれる。グローバル収束性と非平均的収束速度の保証が確立され、CPU時間の面でより速く、解のスパarsity（スパース性）が優れていることが示されている。

ABSTRACT

In this paper, we consider the linearly constrained composite convex optimization problem, whose objective is a sum of a smooth function and a possibly nonsmooth function. We propose an inexact augmented Lagrangian (IAL) framework for solving the problem. The stopping criterion used in solving the augmented Lagrangian (AL) subproblem in the proposed IAL framework is weaker and potentially much easier to check than the one used in most of the existing IAL frameworks/methods. We analyze the global convergence and the non-ergodic convergence rate of the proposed IAL framework.

研究の動機と目的

• 複合凸最適化における増大ラグランジュ部分問題を解く際に、より弱い停止基準を許容する不正確な増大ラグランジュ（IAL）フレームワークの開発。
• 部分問題の解が不正確な場合の、提案されたIALフレームワークにおけるグローバル収束性と非平均的収束速度の保証。
• 非平均的解パスの実用的効率性とスパarsity（スパース性）保存特性を、平均的解パスと比較して示すこと。
• 基底追跡問題における数値結果を通じて、非平均的収束速度解析の重要性を正当化すること。

提案手法

• IALフレームワークは、部分問題を近似的に解き、目的関数の差（サブ最適性ギャップ）に基づく停止基準を用いる：$\mathcal{L}_{\beta}(x^{k+1};\lambda^k) - \mathcal{L}_{\beta}(x(\lambda^k);\lambda^k) \leq \eta_k^2$。これは標準的な基準よりも弱い。
• 双対変数は $\lambda^{k+1} = \lambda^k + \beta(Ax(\lambda^k) - b)$ で更新され、増大ラグランジュ双対関数に対する双対勾配上昇に類似している。
• 収束解析は、列 $\{\eta_k\}$ が可 summable（可summable）であると仮定して行われ、反復列のグローバル収束を保証する。
• プライマル変数および双対不実行性の両方について、非平均的収束速度が導出され、平均化されていない収束保証が得られる。
• このフレームワークは、非滑らか項 $g(x)$ が凸集合の指示関数である基底追跡問題に適用され、スパース回復をモデル化する。
• 数値実験では、IALフレームワークと正確な増大ラグランジュ（EAL）手法を比較し、スパarsity（スパース性）、目的関数誤差、残差、CPU時間の指標を測定した。

実験結果

リサーチクエスチョン

• RQ1 より弱い停止基準を許容する不正確な増大ラグランジュフレームワークは、依然としてグローバル収束性と非平均的収束速度を保証できるか？
• RQ2 IALフレームワークの非平均的解パスは、平均的解パスと比較してスパarsity（スパース性）と収束速度の点でどのように異なるか？
• RQ3 不正確さ許容度 $\eta_k$ は、全体の収束行動と計算効率にどのような影響を与えるか？
• RQ4 提案されたIALフレームワークは、正確な手法と同等の精度とスパarsity（スパース性）を維持しながら、CPU時間でより速い性能を達成できるか？

主な発見

• 不正確さ許容度 $\eta_k$ の可summable列の下で、IALフレームワークは部分問題が近似的に解かれていてもグローバル収束を達成する。
• プライマル変数および双対不実行性の非平均的収束速度が確立され、平均化されていない収束保証が得られる。
• 数値結果から、IALはEALに比べてCPU時間で顕著に速く、平均して同じ精度に到達するのに半分以下の時間を要することが示された。
• 非平均的解 $\bar{x}$ は平均的解 $x_e$ よりも著しくスパースであり、すべてのテスト例で真の解 $x^*$ のスパース構造と完全に一致した。
• 大規模問題（$m=1800, n=3000$）では、IALはEALに比べてCPU時間で25〜30％削減されたが、目的関数誤差と残差は同程度を維持した。
• $k > 100$ で $\eta_k < 10^{-4}$ であっても、IALはEALよりも速く、より弱い停止基準が効率性を損なわないことが示された。