[論文レビュー] On the Finite Number of Directional Stationary Values of Piecewise Programs

Ying Cui, Jong‐Shi Pang|arXiv (Cornell University)|Mar 1, 2018

Optimization and Variational Analysis参考文献 27被引用数 7

ひとこと要約

この論文は、最小二乗区分的アフィン回帰問題を含む特定の非凸な区分的二次計画問題が、有限個の方向勾配停留値しか持たないことを確立している。目的関数の区分的線形・二次的構造を活用し、部分微分解析を適用することで、著者らはすべての方向勾配停留点が局所的最小化点であることを証明し、非単調性があるにもかかわらず、勾配降下法における目的関数値の逐次収束を保証する。

ABSTRACT

Extending a fundamental result for (indefinite) quadratic programs, this paper shows that certain non-convex piecewise programs have only a finite number of directional stationary values, and thus, possess only finitely many locally minimum values. We present various special cases of our main results, in particular, an application to a least-squares piecewise affine regression problem for which every directional stationary point is locally minimizing.

研究の動機と目的

• 線形制約付き区分的二次計画問題が有限個の方向勾配停留値を持つかどうかを解明すること。
• 不定倣二次計画問題に関する古典的な Luo-Tseng 結果を、より広範な非凸的・非微分可能な区分的計画問題のクラスへと拡張すること。
• 方向勾配停留点が局所的最小化点である条件を確立すること、特に最小二乗区分的アフィン回帰において。
• 非凸的区分的計画問題における反復的アルゴリズムの目的関数値の逐次収束の理論的基盤を提供すること。
• 一般の区分的計画問題における有限の方向勾配停留値という未解決問題に対して部分的な解決を提示し、完全な解決は予想として残すこと。

提案手法

• 目的関数を差分の最大値表現で分析する：ψ(x) = max_i (a_i^T x + α_i) - max_j (b_j^T x + β_j)。
• 正則部分微分 b∂ψ(¯x) と正規被約条件を用いた方向部分微分解析により、d-停留性を定義する。
• 最小二乗区分的アフィン回帰における目的関数の区分的線形・二次的（PLQ）性質を活用し、有限のd-停留値を確立する。
• 特に完全な再計算仮定と再計算行列における非負性（copositivity）を用いて、2段階確率的二次計画問題における有限のd-停留値を証明する。
• 半スムーズニュートン法を用いた凸近似最小化アルゴリズムを用いてd-停留点を計算し、局所的最小解への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 線形制約付き区分的二次計画問題は、有限個の方向勾配停留値しか持たないか？
• RQ2 どのような条件下で、区分的計画問題のすべての方向勾配停留点が局所的最小化点となるか？
• RQ3 非凸的再計算を持つ2段階確率的二次計画問題において、有限個の方向勾配停留値を保証できるか？
• RQ4 区分的アフィン回帰の構造は、有限のd-停留値および反復的アルゴリズムにおける目的関数値の逐次収束をもたらすか？
• RQ5 区分的線形・二次的関数の和および合成において、有限d-停留値性の性質は保存されるか？

主な発見

• 多面体の定義域を持つ区分的二次計画問題の方向勾配停留値の集合は有限であり、Luo-Tseng 結果が二次計画から区分的二次計画へと拡張された。
• 最小二乗区分的アフィン回帰では、すべての方向勾配停留点が局所的最小化点であり、反復的アルゴリズムが局所最適解へ収束することが保証される。
• 最小二乗区分的アフィン回帰問題の目的関数は区分的線形・二次的であるため、有限の方向勾配停留値が保証される。
• 完全な再計算と再計算行列の非負性（copositivity）を満たす2段階確率的二次計画問題では、方向勾配停留値の集合が有限である。
• 目的関数値の列が単調でない場合でも、区分的計画問題における近似最小化アルゴリズムの目的関数値の収束は、有限個の方向勾配停留値によって保証される。