[論文レビュー] Active strict saddles in nonsmooth optimization

Damek Davis, Dmitriy Drusvyatskiy|arXiv (Cornell University)|Dec 16, 2019

Stochastic Gradient Optimization Techniques参考文献 39被引用数 4

ひとこと要約

本稿では、非滑らかで弱凸な関数に対して幾何学的に直感的な条件である「アクティブな厳密なさドル性（active strict saddle property）」を導入し、確率的初期化のもとでプロキシマルアルゴリズムが局所的最小値にのみ収束することを保証する。主な貢献は、半代数的最適化問題においてこの性質が一般に成り立つことを証明することであり、非滑らか設定における収束保証を可能にする。

ABSTRACT

We introduce a geometrically transparent strict saddle property for nonsmooth functions. This property guarantees that simple proximal algorithms on weakly convex problems converge only to local minimizers, when randomly initialized. We argue that the strict saddle property may be a realistic assumption in applications, since it provably holds for generic semi-algebraic optimization problems.

研究の動機と目的

• 非滑らかで弱凸な最適化問題において、局所的最小値への収束保証が不足している問題に対処すること。
• 非滑らか設定において、さドル点への収束を排除する幾何学的に直感的な条件を定義すること。
• 半代数的最適化問題において、厳密なさドル性が一般に成り立つことを確立し、応用において現実的であるとみなせるようにすること。
• 非滑らか非凸最適化におけるプロキシマルアルゴリズムの有効性に対する理論的裏付けを提供すること。

提案手法

• すべての臨界点が局所的最小値であるか、または厳密な降下方向を持つ関数を特徴付ける幾何的条件として、アクティブな厳密なさドル性を導入する。
• この性質を弱凸関数に適用し、確率的初期化のもとでプロキシマルアルゴリズムが厳密なさドル点を避けることを保証する。
• 半代数的幾何学の道具を用いて、厳密なさドル性が半代数的関数の一般クラスで成り立つことを証明する。
• アクティブな厳密なさドル条件の下でプロキシマルアルゴリズムの振る舞いを分析し、ほとんど確実に局所的最小値に収束することを示す。
• 非滑らか設定における厳密なさドル条件を定義するために、アクティブ集合と方向微分の概念に依存する。

実験結果

リサーチクエスチョン

• RQ1 非滑らかで弱凸な関数に対して、幾何学的に直感的な厳密なさドル条件を定義できるか？
• RQ2 アクティブな厳密なさドル性は、プロキシマルアルゴリズムがさドル点を避けて局所的最小値にのみ収束することを保証するか？
• RQ3 厳密なさドル性は半代数的最適化問題において一般に成り立つ性質か？
• RQ4 提案された条件は、実世界の広範な問題クラスにおいて証明可能であることを踏まえ、実用的に関連性があるとみなせるか？

主な発見

• アクティブな厳密なさドル性は幾何学的に明確であり、古典的な厳密なさドル条件を非滑らか関数へ一般化する。
• アクティブな厳密なさドル性が成り立つ限り、確率的初期化のもとでプロキシマルアルゴリズムはほとんど確実に局所的最小値に収束する。
• 厳密なさドル性はすべての半代数的最適化問題で証明可能であり、一般かつ現実的な仮定である。
• 本結果は、非滑らか非凸最適化におけるプロキシマル法の経験的成功の理論的基盤を確立する。