[論文レビュー] Optimality, identifiability, and sensitivity

Dmitriy Drusvyatskiy, Adrian S. Lewis|arXiv (Cornell University)|Jul 27, 2012

Optimization and Variational Analysis参考文献 23被引用数 4

ひとこと要約

本稿は最適化における最小同定可能集合の概念を導入し、最適性条件、感度解析、アクティブセット法において中心的役割を果たすことを示している。同定可能多様体が部分的滑らかさと同値であることが確立され、主要な変分解析的概念が統一され、非滑らか最適化問題における収束性と安定性の幾何的基盤が提供される。

ABSTRACT

Around a solution of an optimization problem, an "identifiable" subset of the feasible region is one containing all nearby solutions after small perturbations to the problem. A quest for only the most essential ingredients of sensitivity analysis leads us to consider identifiable sets that are "minimal". This new notion lays a broad and intuitive variational-analytic foundation for optimality conditions, sensitivity, and active set methods.

研究の動機と目的

• 同定可能性の概念を用いて、非滑らか最適化における最適性と感度のための変分解析的枠組みを構築すること。
• 摂動下での臨界点を特徴付けるために最も情報量の多い部分集合としての最小同定可能集合を特定すること。
• 同定可能多様体の概念を通じて、アクティブセット法、臨界錐、感度解析を統一すること。
• 同定可能多様体と古典的「部分的滑らかさ」の概念との明確な関係を確立すること。
• 同定可能集合を通じて、最適化アルゴリズムの収束性と安定性の幾何的・解析的基盤を提供すること。

提案手法

• 特に部分劣勾配写像に対して、列が臨界点に近づきながら劣勾配が消えるとき、その列が最終的に同定可能集合内に存在することを保証する性質として、集合値写像の同定可能性を定義する。
• 小さな摂動下で周囲のすべての臨界点を含む最小の集合として、局所的最小同定可能集合を導入する。
• 臨界錐と接錐を用いて同定可能集合の幾何的性質を特徴づけ、正則性条件下で同定可能集合の接錐の閉凸包が臨界錐に一致することを示す。
• 近傍の臨界点における部分劣勾配写像の安定性と滑らかな近似を保証するため、prox-regularityとClarke正則性を用いる。
• prox-regularity、多様体上での滑らかさ、正規錐の鋭さ、部分劣勾配の内側半連続性という4条件を通じて、同定可能多様体と部分的滑らかさの同値性を確立する。
• proximal写像を測度射影の関数的アナログとして用い、関数設定への結果の拡張を試みるが、簡潔さを保つために完全な拡張は省略する。

実験結果

リサーチクエスチョン

• RQ1 臨界点における局所的最小同定可能集合の存在と一意性を保証する条件は何か？
• RQ2 同定可能集合は最適化における臨界錐とアクティブセット構造とどのように関係するか？
• RQ3 変分解析において、同定可能多様体が部分的滑らかさとどの意味で同値となるか？
• RQ4 同定可能性は感度解析と最適性条件をどのように簡略化するか？
• RQ5 接錐と正規錐は、同定可能集合の特徴づけとその幾何的構造にどのような役割を果たすか？

主な発見

• 局所的最小同定可能集合が存在するならば、局所的に一意に存在し、それは目的関数の小さな線形摂動におけるすべての臨界点からなる。
• 臨界点の周囲における関数の2次的成長は、その最小同定可能集合上での2次的成長と同値であり、最適性の検証を簡略化する。
• Clarke正則性およびprox-regularity条件下で、ある点における臨界錐は、最小同定可能集合の接錐の閉凸包に等しい。
• 同定可能多様体は部分的滑らかさと同値である：C²多様体Mがxにおいてvに対して同定可能であることは、fがxにおいてvに対してMに関して部分的滑らかであり、かつvが部分劣勾配の相対的内部にあることと同値である。
• fの部分劣勾配写像は、最小同定可能集合への制限によって局所的に決定され、点(x,f(x),v)の近傍で∂fのグラフは∂(f+δ_M)のグラフと一致する。
• fがClarke正則であり、f+δ_Mがprox-regularかつ滑らかに微分可能であるとき、臨界錐K_f(x,v)はちょうどxにおけるMの接錐の閉凸包に一致する。