[論文レビュー] Local Minimizers and Second-Order Conditions in Composite Piecewise Programming via Directional Derivatives

Tsung‐Hui Chang, Mingyi Hong+1 more|arXiv (Cornell University)|Sep 18, 2017

Multi-Criteria Decision Making参考文献 19被引用数 5

ひとこと要約

本稿では、非凸的で微分可能でない合成分(piecewise)プログラミング問題における局所最適解を特徴付けるために、2階方向微分に基づく条件を導入する。一般化された凸性条件のもとで、1階方向停留性が局所最適性の十分条件であることを確立し、特に目的関数が2回方向微分可能である場合、強い2階方向停留性が局所最適解を完全に特徴付けることを示している。特に、シュール補行列の非負性チェックにより、$ε_1$-正則化問題においてその特徴付けが可能である。

ABSTRACT

Based on elementary one-sided (first-order) directional derivatives and their extensions to second order, we introduce several local properties of non-convex, non-differentiable functions at a given point, and discuss their realizations in piecewise affine statistical estimation problems, with or without sparsity control. These properties provide sufficient conditions under which the following local optimality questions can be positively answered for a constrained optimization problem with first-order, and respectively, second-order directionally differentiable objective functions. When is first-order directional stationarity necessary and sufficient for local minimizing? When is weak second-order directional stationarity necessary and sufficient for local minimizing? We also show that for a twice directionally differentiable objective, the strongly locally minimizing property of a first-order directional stationary solution can be characterized in terms of a strong second-order directional stationarity condition. The introduced properties are of a local pointwise convexity and generalized convexity type, they are shown to be invariant under composition with piecewise affine functions. For a special class of unconstrained problems with a smooth objective function plus the non-differentiable $\ell_1$-function, we show that the task of verifying the second-order directional stationarity condition can be converted to the problem of checking the copositivity of certain Schur complement on the nonnegative

研究の動機と目的

• 方向微分を用いて、非凸的かつ非微分可能な最適化問題における局所最適性の十分条件を開発すること。
• 1階方向停留性が局所最適解において必要かつ十分となる条件を明確化すること。
• 2回方向微分可能である設定において、強い2階方向停留性を用いて強い局所最適解を特徴付けること。
• 分(piecewise)アフィン関数との合成に関して、局所凸性に類する性質が不変であることを示すこと。
• $µ_1$-正則化問題における2階停留性の検証を、非負の標準単体上でのシュール補行列の非負性チェックに還元すること。

提案手法

• 片側1階方向微分およびその2階拡張を用いて、局所最適性条件を定義する。
• 点ごとの一般化凸性および凸性に類する性質を導入し、これらが分(piecewise)アフィン関数との合成に関して不変であることを示す。
• 1階および2階方向微分可能な目的関数を有する制約付き最適化問題に理論を適用する。
• 2回方向微分可能な目的関数に対して、強い2階方向停留性を用いた強い局所最適解の特徴付けを導出する。
• $µ_1$-正則化問題における2階停留性の検証を、ヘッセ行列に類似した行列のシュール補行列の非負性チェックに変換する。
• 滑らかな関数に$µ_1$-ノルムペナルティを加えた非制約問題にフレームワークを適用し、方向微分の構造的性質を活用する。

実験結果

リサーチクエスチョン

• RQ1 非凸的かつ非微分可能な最適化問題において、1階方向停留性が局所最適解であるための必要十分条件は何か？
• RQ2 合成分(piecewise)プログラミングにおいて、弱い2階方向停留性が局所最適性を意味するのはどのような場合か？
• RQ3 2回方向微分可能な問題において、強い2階方向停留性を用いて強い局所最適解をどのように特徴付けることができるか？
• RQ4 一般化された凸性に類する性質が、方向微分可能性のもとで局所最適性を保証するために果たす役割は何か？
• RQ5 $µ_1$-正則化問題における2階停留性条件を、計算的に取り扱いやすい非負性テストに還元できるか？

主な発見

• 目的関数が方向微分から導かれる特定の一般化凸性に類する性質を満たす場合、1階方向停留性が局所最適性の十分条件である。
• 2回方向微分可能な目的関数に対しては、強い2階方向停留性が強い局所最適解を完全に特徴付ける。
• 導入された局所凸性に類する性質は、分(piecewise)アフィン関数との合成に関して不変であり、最適性に関する関連性を保持する。
• $µ_1$-正則化問題では、2階停留性の検証が非負の標準単体上でのシュール補行列の非負性チェックに簡略化される。
• 本フレームワークにより、凸性や微分可能性を仮定しない合成分(piecewise)プログラミングにおける局所最適性の完全な特徴付けが可能である。
• 本結果により、スパarsity制御を伴う統計的推定に一般的に現れる非滑らかで非凸な設定に対しても、2階最適性条件の適用範囲が拡張される。