[論文レビュー] Simple Complexity Analysis of Direct Search.

Jakub Konečný, Peter Richtárik|arXiv (Cornell University)|Oct 1, 2014

Sparse and Compressive Sensing Techniques参考文献 21被引用数 8

ひとこと要約

この論文は、滑らかな関数に対する微分なしの制約なし最小化のためのパターン探索法の簡略化された複雑さ解析を提供する。『成功しないステップ』を再解釈することで、解析的に有用なものとみなすことにより、明確で解釈可能な複雑さの上限が得られる：凸関数ではO(n/ε)、強く凸な問題ではO(n log(1/ε)、非凸な場合では勾配ノルムをε未満に低下させるためにO(n/ε)となる。

ABSTRACT

We consider the problem of unconstrained minimization of a smooth function in the derivativefree setting. In particular, we study the pattern search method (of directional type). Despite relevant research activity spanning several decades, until recently no complexity guarantees— bounds on the number of function evaluations needed to find a satisfying point—for methods of this type were established. Moreover, existing complexity results require long proofs and the resulting bounds have a complicated form. In this paper we give a very brief and insightful analysis of pattern search for nonconvex, convex and strongly convex objective function, based on the observation that what is in the literature called an “unsuccessful step”, is in fact a step that can drive the analysis. We match the existing results in their dependence on the problem dimension (n) and error tolerance (ǫ), but the overall complexity bounds are much simpler, easier to interpret, and have better dependence on other problem parameters. In particular, we show that the number of function evaluations needed to find an ǫ-solution is O(n/ǫ) (resp. O(n log(1/ǫ))) for the problem of minimizing a convex (resp. strongly convex) smooth function. In the nonconvex smooth case, the bound is O(n/ǫ), with the goal being the reduction of the norm of the gradient below ǫ.

研究の動機と目的

• 微分なしのパターン探索法に長年の複雑さの保証が欠如しているという問題に取り組む。
• 制約なしの滑らかな最小化における既存の複雑さの上限を簡略化する。
• 次元nや許容誤差εなどの問題パラメータへの依存性を向上させ、解釈可能性を高める。
• 凸、強く凸、非凸な滑らかな関数に対するタイトで洗練された複雑さの上限を確立する。

提案手法

• パターン探索における『成功しないステップ』を再解釈し、解析的に有益なものとみなすことで、よりタイトな解析を可能にする。
• ステップを失敗と見なすのではなく、複雑さ解析における収束の駆動要因と見なす、革新的な視点を適用する。
• 滑らかさの仮定の下で、非凸、凸、強く凸なケースを統一的な枠組みで分析する。
• ε-最適性またはε勾配ノルムの低減を達成するために必要な関数評価回数に基づいて複雑さの上限を導出する。
• 先行研究の冗長な導出を避ける、簡潔な解析技術を採用する。
• 問題の次元nと許容誤差εに明確に依存する境界を確立し、他のパラメータへの依存性を改善する。

実験結果

リサーチクエスチョン

• RQ1 微分なし最適化におけるパターン探索のための、より単純で洞察に満ちた複雑さ解析を開発できるか？
• RQ2 パターン探索における関数評価回数が次元nと許容誤差εにどのように依存するか、真の依存関係は何か？
• RQ3 既存の結果と比較して、パターン探索の複雑さの上限は、単純さとタイトさの両面でどのように異なるか？
• RQ4 『成功しないステップ』の概念を再解釈することで、収束解析を改善できるか？
• RQ5 滑らかな非凸、凸、強く凸な関数をパターン探索で最小化する際、達成可能な最もタイトな複雑さの上限は何か？

主な発見

• 凸な滑らかな関数に対してε-解を得るために必要な関数評価回数はO(n/ε)である。
• 強く凸な滑らかな関数では、複雑さの上限がO(n log(1/ε))であり、これまでは得られなかったよりタイトな結果である。
• 非凸な滑らかな場合、勾配ノルムをε未満に低下させるためにO(n/ε)の関数評価回数が使用される。
• 解析は先行研究の証明を簡略化し、問題パラメータへの依存性がより良いものとなる。
• 新しい複雑さの上限は、既存の結果とオーダーの大きさは一致するが、はるかに解釈可能で洗練されたものである。
• 『成功しないステップ』を解析的に有用なものと再定義することで、洗練されたかつ洞察に満ちた複雑さ解析が可能になった。