[論文レビュー] Proximal methods for minimizing the sum of a convex function and a composite function

Quoc Tran Dinh, Moritz Diehl|arXiv (Cornell University)|May 2, 2011

Sparse and Compressive Sensing Techniques参考文献 19被引用数 7

ひとこと要約

本稿では、凸関数と合成関数の和を最小化するための、適応的ステップサイズを用いた勾配スキームを組み合わせた2つのプロキシマルポイント型アルゴリズムを提案する。Lipschitz連続性および非退化性の条件下で、加速版に対してO(1/k²)の最悪ケース複雑度境界が確立され、強凸問題における収束速度が顕著に向上する。

ABSTRACT

This paper extends the algorithm schemes proposed in \cite{Nesterov2007a} and \cite{Nesterov2007b} to the minimization of the sum of a composite objective function and a convex function. Two proximal point-type schemes are provided and their global convergence is investigated. The worst case complexity bound is also estimated under certain Lipschitz conditions and nondegeneratedness. The algorithm is then accelerated to get a faster convergence rate for the strongly convex case.

研究の動機と目的

• 非線形プログラミングおよび正則化の既存フレームワークを一般化するため、凸関数と合成関数の和を最小化するためのプロキシマルポイントアルゴリズムを拡張すること。
• Lipschitz連続性および非退化性の仮定の下で、理論的複雑度境界を有するグローバル収束アルゴリズムを開発すること。
• Nesterov風のモーメンタム技術を用いて、強凸ケースの収束を加速すること。
• スパース最小二乗問題、l1ペナルティ付き問題、および増大ラグランジュを用いた非線形プログラミングに適用可能な統一的枠組みを提供すること。

提案手法

• 本手法は、ステップサイズαk = (k+1)/(4LϕLF)を用いるプロキシマル型スキームに、反復点の重み付き平均によるモーメンタムを統合する。
• 各反復で更新される二次近似関数φk(z)の列を導入し、目的関数を近似することで降下性と収束性を保証する。
• 固定されたペナルティパラメータρk = LϕLFを用いて、二次正則化項と合成関数ϕ(F(x))を含む凸部分問題の系列を解く。
• 重要な要素として、局所的曲率を推定するための勾配マッピングG̃L(yk)を用い、次の反復点のための二次モデルを構築する。
• 係数akによる関数値の重み付き和を維持することで、Lyapunov型関数φk*を介して収束を保証する。
• Lipschitz定数が不明な場合にはラインサーチ戦略を提案し、実用的におけるロバスト性を確保する。

実験結果

リサーチクエスチョン

• RQ1 凸関数と合成関数の和を最小化するためのプロキシマル法を、収束速度の向上を伴って拡張可能か？
• RQ2 Lipschitz連続性および非退化性の条件下で、このような手法の最悪ケース複雑度境界は何か？
• RQ3 Nesterovの加速技術を合成的・非滑らか・非凸設定にどのように適応できるか？
• RQ4 提案されたアルゴリズムは、強凸ケースにおいてO(1/k²)収束を達成しながらもグローバル収束を維持できるか？
• RQ5 この手法は、スパース最小二乗問題やl1ペナルティ付き非線形計画問題といった実用的問題にどのように応用できるか？

主な発見

• 提案された加速アルゴリズムは、最悪ケース収束速度O(1/k²)を達成し、滑らかで凸な問題における最適レートと一致する。
• 勾配のLipschitz連続性および非退化性といった標準的仮定の下で、両アルゴリズムのグローバル収束が厳密に確立される。
• 複雑度境界はf(xk) − f(x*) ≤ 4LϕLF‖x⁰ − x*‖² / (k(k+1))として導出され、高速収束を示す。
• 本手法は、スパース最小二乗問題、l1ペナルティ付き最適化、および増大ラグランジュを用いた非線形プログラミングを含む広範な問題に適用可能である。
• Lipschitz定数がラインサーチによって推定されても、アルゴリズムは収束を維持し、実用的利便性が向上する。
• 数値的妥当性は理論的分析により裏付けられ、モーメンタムに基づく更新スキームが最適性ギャップの高速減少を保証することが示された。