[論文レビュー] A Study of Piecewise Linear-Quadratic Programs

Ying Cui, Tsung‐Hui Chang+2 more|arXiv (Cornell University)|Sep 18, 2017

Multi-Criteria Decision Making被引用数 4

ひとこと要約

本稿は、区分的線形・二次（PLQ）計画問題について包括的な分析を提供し、強い局所最適解、厳密な局所最適解、孤立した局所最適解のための同等の2次最適性条件を確立する。この研究では、サブアナリティック関数の性質とシュール補行列における非負性条件を用いて、このような問題が有限個の局所最適解を持つことを証明し、現代の統計的推定への応用を含む。

ABSTRACT

Motivated by a growing list of nontraditional statistical estimation problems of the piecewise kind, this paper provides a survey of known results supplemented with new results for the class of piecewise linear-quadratic programs. These are linearly constrained optimization problems with piecewise linear-quadratic (PLQ) objective functions. Starting from a study of the representation of such a function in terms of a family of elementary functions consisting of squared affine functions, squared plus-composite-affine functions, and affine functions themselves, we summarize some local properties of a PLQ function in terms of their first and second-order directional derivatives. We extend some well-known necessary and sufficient second-order conditions for local optimality of a quadratic program to a PLQ program and provide a dozen such equivalent conditions for strong, strict, and isolated local optimality, showing in particular that a PLQ program has the same characterizations for local minimality as a standard quadratic program. As a consequence of one such condition, we show that the number of strong, strict, or isolated local minima of a PLQ program is finite; this result supplements a recent result about the finite number of directional stationary objective values. Interestingly, these finiteness results can be uncovered by invoking a very powerful property of subanalytic functions; our proof is fairly elementary, however. We discuss applications of PLQ programs in some modern statistical estimation problems. These problems lead to a special class of unconstrained composite programs involving the non-differentiable $\ell_1$-function, for which we show that the task of verifying the second-order stationary condition can be converted to the problem of checking the copositivity of certain Schur complement on the nonnegative orthant.

研究の動機と目的

• 2次最適性理論を二次計画問題から区分的線形・二次（PLQ）計画問題へ拡張すること。
• PLQ計画問題における強い局所最適性、厳密な局所最適性、孤立した局所最適性の必要十分条件を同等の形で確立すること。
• サブアナリティック関数の性質を用いて、PLQ計画問題における強い局所最適解、厳密な局所最適解、孤立した局所最適解の有限性を証明すること。
• 合成PLQ計画問題における2次停留性の検証を、非負の直交空間上での行列の非負性条件に結びつけること。
• 理論的結果を、ℓ₁ノルムを含む現代の統計的推定問題に応用すること。

提案手法

• 二乗アフィン関数、二乗加算合成アフィン関数、およびアフィン関数の基本的構成要素を用いてPLQ関数を表現する。
• PLQ関数の1次および2次方向微分を分析し、局所最適性条件を導出する。
• 古典的な2次最適性条件を二次計画問題からPLQ計画問題へ適応し、12個の同等な特徴付けを導出する。
• 二次形式の固有値分解とシュール補行列の恒等式を用いて、最適性条件を再形式化する。
• ℓ₁合成PLQ計画問題における2次停留性の検証を、ℝ₊ⁿ上でのシュール補行列の非負性の確認に還元する。
• サブアナリティック関数理論を応用して局所最適解の有限性を証明し、初等的な別証明も提示する。

実験結果

リサーチクエスチョン

• RQ1 区分的線形・二次計画問題における局所最適性の必要十分な2次条件は何か？
• RQ2 PLQ計画問題における強い局所最適解、厳密な局所最適解、または孤立した局所最適解の数は、有限か無限か？
• RQ3 ℓ₁合成PLQ計画問題における2次停留性条件は、行列の非負性チェックに還元可能か？
• RQ4 二次計画問題の最適性特徴付けは、どの程度PLQ計画問題へ拡張可能か？
• RQ5 PLQ関数のどのような構造的性質が、非凸性が存在しても局所最適解の有限性を可能にするか？

主な発見

• PLQ計画問題は、標準的な二次計画問題と同一の2次特徴付けを有し、12個の同等な条件が確立された。
• PLQ計画問題における強い局所最適解、厳密な局所最適解、孤立した局所最適解の数は有限であり、サブアナリティック関数理論を用いた証明と、初等的な別証明により確認された。
• 非制約のℓ₁合成PLQ計画問題における2次停留性条件は、非負の直交空間上での特定のシュール補行列の非負性の確認に還元される。
• 有界係数を伴う二次計画問題における最適値が0であるための必要十分条件が導出され、部分行列の半正定値性とシュール補行列の非負性を含む。
• 本稿は、PLQ計画問題の方向的停留解の目的関数値が有限であることを確認し、局所最適解の有限性を補完する。
• 二乗アフィン関数および合成アフィン関数によるPLQ関数の表現は、その方向微分および最適性条件の体系的解析を可能にする。