[論文レビュー] A Simple Adaptive Step-size Choice for Iterative Optimization Methods

I. V. Konnov|arXiv (Cornell University)|Jan 31, 2018

Matrix Theory and Algorithms参考文献 12被引用数 4

ひとこと要約

本稿では、線分探索やリプシッツ定数などの事前知識を不要とする、反復的最適化手法における単純な適応的ステップサイズ手順を提案する。主要なステップサイズ列を用い、十分な降下が達成されない場合にのみ更新することで、弱い仮定の下で非滑らかかつ非凸問題に対しても収束を保証する。計算実験により、従来の線分探索法よりも効率的であることが確認された。

ABSTRACT

We suggest a simple adaptive step-size procedure, which does not require any line-search, for a general class of nonlinear optimization methods and prove convergence of a general method under mild assumptions. In particular, the goal function may be non-smooth and non-convex. Unlike the descent line-search methods, it does not require monotone decrease of the goal function values along the iteration points and reduces the implementation cost of each iteration essentially. The key element of this procedure consists in inserting a majorant step-size sequence such that the next element is taken only if the current iterate does not give a sufficient descent. Its applications yield in particular a new gradient projection method for smooth constrained optimization problems and a new projection type method for minimization of the gap function of a general variational inequality. Preliminary results of computational experiments confirm efficiency of the proposed modification.

研究の動機と目的

• 反復的最適化手法における高コストな線分探索を回避するステップサイズ選択戦略の開発。
• 勾配のリプシッツ連続性を要件としない、非滑らかかつ非凸最適化問題における収束の実現。
• 補助最小化部分問題の削除により、1反復あたりの計算コストの低減。
• 制約付き最適化および変分不等式に適用可能な統一的フレームワークの提供。
• 滑らかおよび非滑らかな問題における計算実験を通じた手法の効率性の検証。

提案手法

• ステップサイズがゼロに減少する主要なステップサイズ列を用い、許容可能なステップサイズの上界として機能する。
• 各反復で、現在の反復点が十分な降下を達成しない場合にのみ、次回のステップサイズが選択され、目的関数を含む降下条件に基づく。
• 適応的ルールにより、反復点の実際の進行に基づいてステップサイズが動的に調整され、固定または単調に減少する系列を避ける。
• 弱い強制性仮定の下で、一般の反復的手法（射影型および勾配射影法を含む）に適用可能。
• 滑らかおよび非滑らかな問題、およびギャップ関数最小化による変分不等式に適用可能な一般の収束定理に統合されている。
• 勾配のリプシッツ定数や正確な線分探索を必要とせず、降下のモニタリングに依存する。

実験結果

リサーチクエスチョン

• RQ1 線分探索を回避しつつ、非滑らかかつ非凸問題に対して収束を保証するステップサイズルールを設計できるか？
• RQ2 リプシッツ定数などの事前知識に依存せず、適応的ステップサイズ選択をどのようにして頑健に実現できるか？
• RQ3 反復的最適化における非単調な関数値減少が収束性および効率性に与える影響は何か？
• RQ4 この適応的戦略を、変分不等式を含むさまざまな最適化問題クラスに一般化できるか？
• RQ5 提案手法は、標準の線分探索ベースの手法と比較して、反復回数および関数評価回数の観点でどのように異なるか？

主な発見

• 提案された適応的ステップサイズルールは、弱い強制性条件の下で、勾配のリプシッツ連続性を要件としない非滑らかかつ非凸最適化問題に対し収束を達成する。
• 計算結果により、線分探索の削除により1反復あたりのコストを顕著に低減でき、線分探索ベースの手法と比較して関数評価回数が少ないことが確認された。
• 凸最適化のテストでは、提案手法（GPMS）はテストケース全体で平均して、アーミジョベース手法（GPMA）と比較して関数評価回数を26%～50%削減した。
• 変分不等式問題のテストでは、n=1000の場合、適応的手法（GFPMS）は45～97回の関数評価で収束を達成し、反復回数および関数評価回数の両面でアーミジョベース手法（GFPMA）を上回った。
• 大規模問題（n=1000）に対しても、本手法は頑健性と高速収束を示し、GFPMSは収束までにたった716回の関数評価で到達した。
• GPMD変種はn>5の場合に非常に遅い収束を示したことから、固定または単調に減少するステップサイズルールに比べ、提案された適応的戦略の優位性が明確に示された。