[论文解读] A Study of Piecewise Linear-Quadratic Programs

Ying Cui, Tsung‐Hui Chang+2 more|arXiv (Cornell University)|Sep 18, 2017

Multi-Criteria Decision Making被引用 4

一句话总结

本文对分段线性-二次（PLQ）规划进行了全面分析，建立了强、严格及孤立局部极小值的等价二阶最优性条件。证明了此类规划具有有限多个局部极小值——将二次规划理论扩展至PLQ设置——通过子解析函数性质与舒尔补的共正定性条件实现，应用于现代统计估计。

ABSTRACT

Motivated by a growing list of nontraditional statistical estimation problems of the piecewise kind, this paper provides a survey of known results supplemented with new results for the class of piecewise linear-quadratic programs. These are linearly constrained optimization problems with piecewise linear-quadratic (PLQ) objective functions. Starting from a study of the representation of such a function in terms of a family of elementary functions consisting of squared affine functions, squared plus-composite-affine functions, and affine functions themselves, we summarize some local properties of a PLQ function in terms of their first and second-order directional derivatives. We extend some well-known necessary and sufficient second-order conditions for local optimality of a quadratic program to a PLQ program and provide a dozen such equivalent conditions for strong, strict, and isolated local optimality, showing in particular that a PLQ program has the same characterizations for local minimality as a standard quadratic program. As a consequence of one such condition, we show that the number of strong, strict, or isolated local minima of a PLQ program is finite; this result supplements a recent result about the finite number of directional stationary objective values. Interestingly, these finiteness results can be uncovered by invoking a very powerful property of subanalytic functions; our proof is fairly elementary, however. We discuss applications of PLQ programs in some modern statistical estimation problems. These problems lead to a special class of unconstrained composite programs involving the non-differentiable $\ell_1$-function, for which we show that the task of verifying the second-order stationary condition can be converted to the problem of checking the copositivity of certain Schur complement on the nonnegative orthant.

研究动机与目标

• 将二阶最优性理论从二次规划扩展至分段线性-二次（PLQ）规划。
• 为PLQ规划中的强、严格及孤立局部最优性建立等价的必要与充分条件。
• 利用子解析函数性质，证明PLQ规划中强、严格及孤立局部极小值的有限性。
• 将复合PLQ规划中二阶平稳性的验证与非负卦限上的矩阵共正定性联系起来。
• 将理论结果应用于涉及ℓ₁-范数的现代统计估计问题。

提出的方法

• 使用基本分量表示PLQ函数：平方仿射函数、平方加复合仿射函数及仿射函数。
• 分析PLQ函数的一阶与二阶方向导数，以推导局部最优性条件。
• 将经典二次规划的二阶条件适配至PLQ规划，推导出十二种等价刻画。
• 利用二次型的特征分解与舒尔补恒等式，重新表述最优性条件。
• 将ℓ₁-复合PLQ规划中二阶平稳性的验证，简化为在ℝ₊ⁿ上检查一个舒尔补的共正定性。
• 应用子解析函数理论证明局部极小值的有限性，并提供一种初等替代证明。

实验结果

研究问题

• RQ1 分段线性-二次规划中局部最优性的必要与充分二阶条件是什么？
• RQ2 PLQ规划中强、严格或孤立局部极小值的数量行为如何——有限还是无限？
• RQ3 ℓ₁-复合PLQ规划中的二阶平稳性条件能否简化为矩阵共正定性检查？
• RQ4 二次规划的最优性刻画在多大程度上可推广至PLQ规划？
• RQ5 PLQ函数的何种结构性质使得其尽管可能存在非凸性，仍能保证局部极小值的有限性？

主要发现

• PLQ规划的局部极小性具有与标准二次规划相同的二阶刻画，已建立十二种等价条件。
• PLQ规划中强、严格或孤立局部极小值的数量是有限的，该结果通过子解析函数理论及一种初等替代证明得到证实。
• 无约束ℓ₁-复合PLQ规划中，二阶平稳性条件简化为在非负卦限上检查特定舒尔补的共正定性。
• 推导出具有有界系数的二次规划最优值为零的必要与充分条件，涉及子矩阵的半正定性与舒尔补的共正定性。
• 本文证实，PLQ规划的方向性平稳目标值是有限的，与局部极小值的有限性相辅相成。
• 通过平方仿射函数与复合仿射函数表示PLQ函数，使得其方向导数与最优性条件的系统分析成为可能。