[論文レビュー] Adaptive Regularization Algorithms with Inexact Evaluations for Nonconvex Optimization

Stefania Bellavia, Gianmarco Gurioli+2 more|arXiv (Cornell University)|Nov 9, 2018

Sparse and Compressive Sensing Techniques参考文献 28被引用数 8

ひとこと要約

本稿では、非凸最適化のための適応的正則化アルゴリズムを提案する。このアルゴリズムは、反復ごとに変化する不正確さ許容誤差を用いて、不正確な関数値および導関数評価を扱う。$ p $ 階導関数を用い、最高階導関数が $ \beta $-ホルダー連続である場合、$ q $ 階 $ \epsilon $-最小化子を求めるために、$ O\big{(}\epsilon^{-\frac{p+\beta}{p-q+\beta}}\big{)} $ 回の反復と $ O\big{(}|\log(\epsilon)|\epsilon^{-\frac{p+\beta}{p-q+\beta}}\big{)} $ 回の近似評価で、最悪ケースの評価複雑度の上限を確立する。

ABSTRACT

A regularization algorithm using inexact function values and inexact derivatives is proposed and its evaluation complexity analyzed. This algorithm is applicable to unconstrained problems and to problems with inexpensive constraints (that is constraints whose evaluation and enforcement has negligible cost) under the assumption that the derivative of highest degree is $β$-Hölder continuous. It features a very flexible adaptive mechanism for determining the inexactness which is allowed, at each iteration, when computing objective function values and derivatives. The complexity analysis covers arbitrary optimality order and arbitrary degree of available approximate derivatives. It extends results of Cartis, Gould and Toint (2018) on the evaluation complexity to the inexact case: if a $q$th order minimizer is sought using approximations to the first $p$ derivatives, it is proved that a suitable approximate minimizer within $ε$ is computed by the proposed algorithm in at most $O(ε^{-\frac{p+β}{p-q+β}})$ iterations and at most $O(|\log(ε)|ε^{-\frac{p+β}{p-q+β}})$ approximate evaluations. An algorithmic variant, although more rigid in practice, can be proved to find such an approximate minimizer in $O(|\log(ε)|+ε^{-\frac{p+β}{p-q+β}})$ evaluations.While the proposed framework remains so far conceptual for high degrees and orders, it is shown to yield simple and computationally realistic inexact methods when specialized to the unconstrained and bound-constrained first- and second-order cases. The deterministic complexity results are finally extended to the stochastic context, yielding adaptive sample-size rules for subsampling methods typical of machine learning.

研究の動機と目的

• 関数値および導関数が不正確に評価される非凸最適化アルゴリズムにおける評価複雑度分析のギャップを埋める。
• カルティスら（2018年）の包括的正則化フレームワークを拡張し、正確な評価を許容しつつも最悪ケースの複雑度が最適なまま保たれるようにする。
• 任意のモデル次数 $ p $、任意の最適性次数 $ q $、および $ \beta $-ホルダー連続な最高階導関数に対して、複雑度境界を提供する。
• 非制約およびバインド制約付き問題に対する実用的第1および第2階の手法に、このフレームワークを特化する。
• 決定的複雑度結果を確率的設定に拡張し、機械学習文脈におけるサブサンプリングのサンプルサイズルールを導出する。

提案手法

• 各反復で不正確評価の許容誤差を動的に調整する適応的正則化アルゴリズムを提案する。
• 信頼領域に類似したメカニズムを用いて、収束のための十分なモデル品質を保証する不正確評価の精度を制御する。
• 現在の反復点と所望の精度 $ \epsilon $ に依存する柔軟な不正確さ基準を導入し、計算コストと収束保証のバランスを取る。
• 最高階導関数の $ \beta $-ホルダー連続性の下で最悪ケースの評価複雑度を分析し、従来の正確評価結果を一般化する。
• 複雑度境界を $ \epsilon $、$ p $、$ q $、$ \beta $ の関数として導出し、不正確さが存在しても最適な複雑度を維持できることを示す。
• 不正確さ条件を高い確率で満たすために必要なサンプルサイズの確率的境界を導出することで、フレームワークを確率的設定に拡張する。

実験結果

リサーチクエスチョン

• RQ1 関数および導関数評価が不正確であるが、適応的に制御される場合、正則化アルゴリズムの最悪ケースの評価複雑度は何か？
• RQ2 柔軟で適応的な精度要件のもとで、正確評価の最適複雑度境界が不正確評価下でも保持可能か？
• RQ3 不正確さの下で、最適性次数 $ q $、利用可能な導関数の次数 $ p $、滑らかさパラメータ $ \beta $ と複雑度境界はどのようにスケーリングされるか？
• RQ4 サブサンプリング手法において、不正確さ条件が高確率で満たされるために必要なサンプルサイズは何か？
• RQ5 提案されたフレームワークは、実用的で計算的に現実的な第1および第2階の最適化手法を提供できるか？

主な発見

• 提案されたアルゴリズムは、$ O\big{(}\epsilon^{-\frac{p+\beta}{p-q+\beta}}\big{)} $ 回の反復および $ O\big{(}|\log(\epsilon)|\epsilon^{-\frac{p+\beta}{p-q+\beta}}\big{)} $ 回の近似評価で、$ q $ 階 $ \epsilon $-最小化子を計算する。
• アルゴリズムの変種は、$ O\big{(}|\log(\epsilon)| + \epsilon^{-\frac{p+\beta}{p-q+\beta}}\big{)} $ 回の評価を達成し、対数的依存性を改善する。
• 複雑度境界は、正確評価の場合に既知の下界と一致するため、最適性の意味で最適である。
• 第1および第2階の手法に対して、シンプルで数値的に現実的な不正確アルゴリズムが得られ、収束保証が保証される。
• 確率的設定では、サブサンプリングにおける不正確さ条件を高確率で満たすために必要な最小サンプルサイズの下界が得られる。
• 結果は、計算コストが低い制約を伴う問題に対しても有効であり、非制約問題に限らない範囲に拡張される。