[論文レビュー] On the p-regularized trust region subproblem

Yong Hsia, Ruey-Lin Sheu+1 more|arXiv (Cornell University)|Sep 16, 2014

Advanced Optimization Algorithms Research参考文献 10被引用数 4

ひとこと要約

本稿は、p > 2 における p-正則化信頼領域部分問題（p-RS）のグローバル最小解およびローカル非グローバル最小解を完全に特徴づけ、特権関数を用いて必要十分な最適性条件を確立する。p-RS が高々1つのローカル非グローバル最小解しか持たないことを証明し、固定された線形制約の数と p = 4 の場合に多項式時間で解けることを示している。

ABSTRACT

The $p$-regularized subproblem (p-RS) is a regularisation technique in computing a Newton-like step for unconstrained optimization, which globally minimizes a local quadratic approximation of the objective function while incorporating with a weighted regularisation term $\fracσ{p} \|x\|^p$. The global solution of the $p$-regularized subproblem for $p=3$, also known as the cubic regularization, has been characterized in literature. In this paper, we resolve both the global and the local non-global minimizers of (p-RS) for $p>2$ with necessary and sufficient optimality conditions. Moreover, we prove a parallel result of Mart\'ınez \cite{Mar} that the (p-RS) for $p>2$, analogous to the trust region subproblem, can have at most one local non-global minimizer. When the (p-RS) is subject to a fixed number $m$ additional linear inequality constraints, we show that the uniqueness of the local solution of the (p-RS) (if exists at all), especially for $p=4$, can be applied to solve such an extension in polynomial time.

研究の動機と目的

• p > 2 における p-正則化部分問題（p-RS）のグローバル解およびローカル非グローバル解を完全に特徴づけること。
• p = 3（三次正則化）および p = 4 の場合に知られている最適性条件を、一般の p > 2 に拡張すること。
• p-RS が高々1つのローカル非グローバル最小解しか持たないことを証明し、信頼領域部分問題と同様の性質を示すこと。
• m 個の線形不等式制約と p = 4 を有する拡張 p-RS が、m が固定されている場合に多項式時間で解けることを示すこと。
• null-space 法を用いて次元を低く抑えた部分問題に還元することで、制約付き p-RS 問題を解くためのフレームワークを確立すること。

提案手法

• 方程式 (H + σ‖x*‖^{p−2}I)x* = −c と H + σ‖x*‖^{p−2}I ⪰ 0 の正定値性を用いて、グローバル最適性の必要十分条件を導出する。
• t ∈ (max{−α₂/σ, 0}, −α₁/σ) で定義される特権関数 h(t) = ‖(H + σtI)⁻¹c‖² − t^{2/(p−2)} を導入し、ローカル非グローバル最小解を特徴づける。
• H の固有値分解を用いてグローバル最小解の構造を分析し、解集合が単一の点または特定の点を中心とする k 次元球面であることを示す。
• 等式制約 a_j^T x = l_j または u_j を用いて、1変数ずつ変数を削減する null-space 表現を適用し、制約付き問題の次元を低く抑える。
• 帰納的アプローチを用いて m 個の制約付き問題を、同じ構造を持つ (m−1) 個の制約付き部分問題の列に還元する。
• s 個の列が線形従属となる最小の s を用いて、部分問題の数を m × (m−1) × ⋯ × (m−s+1) で上界する。このことにより、多項式時間可解性を証明する。

実験結果

リサーチクエスチョン

• RQ1 p > 2 における p-RS の点がグローバル最小解であるための必要十分条件は何か？
• RQ2 p > 2 における p-RS のローカル非グローバル最小解は、明示的な最適性条件で特徴づけられるか？
• RQ3 p > 2 における p-RS は、信頼領域部分問題と同様に、1つより多くのローカル非グローバル最小解を有するか？
• RQ4 固定された数の線形不等式制約と p = 4 を有する p-RS は多項式時間で解けるか？
• RQ5 線形制約付きの一般の p-RS 問題（p ≠ 4 の場合）の計算複雑度は何か？

主な発見

• p > 2 における p-RS のグローバル最小解は存在し、(H + σ‖x*‖^{p−2}I)x* = −c と H + σ‖x*‖^{p−2}I ⪰ 0 の連立方程式によって特徴づけられる。
• 解集合が球面であっても、グローバル最小解の ℓ₂ ノルムは一意に決定される。
• 点がローカル非グローバル最小解であるための必要十分条件は、x̲ = −(H + σt̲*I)⁻¹c を満たすことであり、ここで t̲* は区間 (−α₂/σ, −α₁/σ) 内の特権関数 h(t) の根で、h′(t̲*) > 0 を満たすものである。
• p > 2 における p-RS は高々1つのローカル非グローバル最小解しか持たない。これは信頼領域部分問題における既知の結果の拡張である。
• p = 4 かつ線形不等式制約の数 m が固定されている場合、再帰的に次元を低くした部分問題に還元することで、多項式時間で問題が解ける。
• 還元プロセス中に生成される部分問題の総数は、m にのみ依存する定数で上界され、m が固定されている場合に多項式時間複雑度が保証される。