[論文レビュー] On Weak and Strong Convergence of the Projected Gradient Method for Convex Optimization in real Hilbert Spaces

Yunier Bello-Cruz, Welington de Oliveira|arXiv (Cornell University)|Feb 24, 2014

Optimization and Variational Analysis参考文献 27被引用数 4

ひとこと要約

本稿は、実ヒルバート空間における凸最適化問題に対して、勾配のリプシッツ連続性よりも弱い仮定——具体的にはゲートオー微分の一様連続性——の下で、投影勾配法とアルミジョ線探索を組み合わせた手法の弱収束を確立する。さらに、勾配のリプシッツ連続性を仮定しないまま、解集合内での最も近い解への強収束を保証する変種も提案する。

ABSTRACT

This work focuses on convergence analysis of the projected gradient method for solving constrained convex minimization problem in Hilbert spaces. We show that the sequence of points generated by the method employing the Armijo linesearch converges weakly to a solution of the considered convex optimization problem. Weak convergence is established by assuming convexity and Gateaux differentiability of the objective function, whose Gateaux derivative is supposed to be uniformly continuous on bounded sets. Furthermore, we propose some modifications in the classical projected gradient method in order to obtain strong convergence. The new variant has the following desirable properties: the sequence of generated points is entirely contained in a ball with diameter equal to the distance between the initial point and the solution set, and the whole sequence converges strongly to the solution of the problem that lies closest to the initial iterate. Convergence analysis of both methods is presented without Lipschitz continuity assumption.

研究の動機と目的

• ヒルバート空間における凸最小化問題に対して、アルミジョ線探索を用いた投影勾配法の弱収束を分析すること。
• 勾配の標準的仮定であるリプシッツ連続性を緩和し、有界集合上での一様連続性のみを仮定すること。
• 解集合内での最も近い解への強収束を保証する、投影勾配法の新たな変種を提案すること。
• 勾配のグローバルリプシッツ連続性を仮定しないで収束結果を確立することにより、古典的仮定を改善すること。

提案手法

• 固定または小さなステップサイズを避けるために、実行可能方向に沿ったアルミジョ線探索を用いてステップサイズを動的に選択する。
• 各反復点を現在の点と実行可能集合への射影の凸結合として定義する、修正された反復スキームを採用する。
• 初期点から解集合までの距離と等しい直径の球内に反復列が常に存在するように保証する新しいアルゴリズム（アルゴリズムA2）を導入する。
• 初期点の解集合への射影 $ x_* = P_{S_*}(x^0) $ を、反復列の強収束先として用いる。
• 弱-cluster点解析とノルム収束の議論を用いて、$ \nabla f $ の一様連続性のもとで強収束を証明する。
• 凸解析およびヒルバート空間論の結果（射影の性質や反射的空間における弱収束の性質など）を応用する。

実験結果

リサーチクエスチョン

• RQ1 実行可能方向に沿ったアルミジョ線探索を用いた投影勾配法が、ヒルバート空間で弱収束する条件は何か？
• RQ2 勾配のグローバルリプシッツ連続性を仮定しないで、強収束を達成できるか？
• RQ3 古典的投影勾配法にどのような修正を加えると、解集合内での最も近い解への強収束が保証されるか？
• RQ4 有界集合上での勾配の一致連続性とリプシッツ連続性の間で、収束保証の観点からどのように比較できるか？
• RQ5 提案された強収束性を示す変種において、反復列が満たす幾何的性質は何か？

主な発見

• 凸性およびゲートオー微分の一様連続性の下で、実行可能方向に沿ったアルミジョ線探索を用いた投影勾配法は、凸最適化問題の解へ弱収束する。
• この手法によって生成される反復列は有界であり、$ \|x^{k+1} - x^k\| \to 0 $ を満たす。これは反復の減少を示している。
• 提案された変種では、初期点 $ x^0 $ から解集合 $ S_* $ における最も近い解 $ x_* = P_{S_*}(x^0) $ への強収束が保証される。
• 反復列の全列は、直径が $ \|x^0 - x_*\| $ に等しい閉球内に存在し、有界性および幾何的制御が保証される。
• 勾配 $ \nabla f $ のグローバルリプシッツ連続性を仮定せず、有界集合上での一様連続性に依拠することで収束を確立している。
• 勾配 $ \nabla f $ が有界集合上で一様連続であるという仮定のもとで、強収束結果が成り立つ。これはリプシッツ連続性よりも厳密に弱い条件である。