[论文解读] Local Minimizers and Second-Order Conditions in Composite Piecewise Programming via Directional Derivatives

Tsung‐Hui Chang, Mingyi Hong+1 more|arXiv (Cornell University)|Sep 18, 2017

Multi-Criteria Decision Making参考文献 19被引用 5

一句话总结

本文引入基于二阶方向导数的条件，以刻画非凸、不可微复合分段规划问题中的局部极小点。在某些广义凸性条件下，证明了一阶方向平稳性足以保证局部最优性；并表明当目标函数为二阶方向可微时，强二阶方向平稳性可完全刻画局部极小点，特别是在通过Schur补正定性检验的$ε_1$-正则化问题中。

ABSTRACT

Based on elementary one-sided (first-order) directional derivatives and their extensions to second order, we introduce several local properties of non-convex, non-differentiable functions at a given point, and discuss their realizations in piecewise affine statistical estimation problems, with or without sparsity control. These properties provide sufficient conditions under which the following local optimality questions can be positively answered for a constrained optimization problem with first-order, and respectively, second-order directionally differentiable objective functions. When is first-order directional stationarity necessary and sufficient for local minimizing? When is weak second-order directional stationarity necessary and sufficient for local minimizing? We also show that for a twice directionally differentiable objective, the strongly locally minimizing property of a first-order directional stationary solution can be characterized in terms of a strong second-order directional stationarity condition. The introduced properties are of a local pointwise convexity and generalized convexity type, they are shown to be invariant under composition with piecewise affine functions. For a special class of unconstrained problems with a smooth objective function plus the non-differentiable $\ell_1$-function, we show that the task of verifying the second-order directional stationarity condition can be converted to the problem of checking the copositivity of certain Schur complement on the nonnegative

研究动机与目标

• 利用方向导数，为非凸、不可微优化问题开发局部最优性的充分条件。
• 阐明一阶方向平稳性在何时对局部极小点而言既是必要条件也是充分条件。
• 通过二阶方向平稳性刻画二阶方向可微设定下的强局部极小性。
• 阐明在与分段仿射函数复合下，局部凸性类型性质的不变性。
• 将$µ_1$-正则化问题中二阶平稳性的验证简化为在非负卦限上检查Schur补的正定性。

提出的方法

• 利用单边一阶方向导数及其二阶扩展来定义局部最优性条件。
• 引入点态广义凸性及凸性类型性质，这些性质在与分段仿射函数复合下保持不变。
• 将该理论应用于目标函数具有一阶和二阶方向可微性的约束优化问题。
• 通过强二阶方向平稳性，推导出对二阶方向可微目标函数的强局部极小性的刻画。
• 将$µ_1$-正则化问题中二阶平稳性的验证转化为对Hessian型矩阵Schur补在非负卦限上的正定性检查。
• 将该框架应用于带光滑函数加$µ_1$-范数惩罚的无约束问题，利用方向导数的结构性质。

实验结果

研究问题

• RQ1 在非凸、不可微优化问题中，一阶方向平稳性在何种条件下对某点为局部极小点而言既是必要条件也是充分条件？
• RQ2 在复合分段规划中，何时弱二阶方向平稳性可推出局部最优性？
• RQ3 在二阶方向可微问题中，如何通过二阶方向平稳性刻画强局部极小性？
• RQ4 广义凸性类型性质在方向可微性条件下对确保局部最优性起到何种作用？
• RQ5 $µ_1$-正则化问题中的二阶平稳性条件能否简化为计算上可行的正定性检验？

主要发现

• 当目标函数满足由方向导数导出的特定广义凸性类型性质时，一阶方向平稳性足以保证局部极小性。
• 对于二阶方向可微的目标函数，强二阶方向平稳性可完全刻画强局部极小点。
• 所引入的局部凸性类型性质在与分段仿射函数复合下保持不变，从而保持其在最优性中的相关性。
• 在$µ_1$-正则化问题中，验证二阶平稳性可简化为在非负卦限上检查Schur补的正定性。
• 该框架在无需凸性或可微性假设下，完整刻画了复合分段规划中的局部最优性。
• 该结果将二阶最优性条件的应用范围扩展至统计估计中常见的非光滑、非凸场景，尤其适用于稀疏性控制。