[論文レビュー] Partially separable convexly-constrained optimization with non-Lipschitzian singularities and its complexity

Xiaojun Chen, Philippe L. Toint+1 more|arXiv (Cornell University)|Apr 23, 2017

Sparse and Compressive Sensing Techniques参考文献 21被引用数 4

ひとこと要約

本稿では、非リプシッツ的 $\ell_q$-ノルム正則化（$q \in (0,1)$）を伴う部分的に分離可能な凸制約付き最適化問題に対して、高次テイラー近似モデルを用いた適応的正則化アルゴリズムを提案する。最悪計算量の複雑さが奇数次モデルの場合に $O(\epsilon^{-(p+1)/p})$ に保たれることを確立しており、特異性が存在しても、かつ部分的分離構造を活用する場合やリプシッツ的でないモデルを使用する場合でも、複雑さが低下しないことが示された。

ABSTRACT

An adaptive regularization algorithm using high-order models is proposed for partially separable convexly constrained nonlinear optimization problems whose objective function contains non-Lipschitzian $\ell_q$-norm regularization terms for $q\in (0,1)$. It is shown that the algorithm using an $p$-th order Taylor model for $p$ odd needs in general at most $O(ε^{-(p+1)/p})$ evaluations of the objective function and its derivatives (at points where they are defined) to produce an $ε$-approximate first-order critical point. This result is obtained either with Taylor models at the price of requiring the feasible set to be 'kernel-centered' (which includes bound constraints and many other cases of interest), or for non-Lipschitz models, at the price of passing the difficulty to the computation of the step. Since this complexity bound is identical in order to that already known for purely Lipschitzian minimization subject to convex constraints [CartGoulToin2016], the new result shows that introducing non-Lipschitzian singularities in the objective function may not affect the worst-case evaluation complexity order. The result also shows that using the problem's partially separable structure (if present) does not affect complexity order either. A final (worse) complexity bound is derived for the case where Taylor models are used with a general convex feasible set.

研究の動機と目的

• スパース信号復元や画像処理に現れる、非リプシッツ的 $\ell_q$-ノルム正則化（$q \in (0,1)$）を伴う部分的に分離可能な凸制約付き最適化問題に対処すること。
• このような問題を解く際の最悪計算量の複雑さを分析すること。
• 標準のリプシッツ的問題と比較して、非リプシッツ的特異性や部分的に分離可能な構造が複雑さの次数に影響を与えるかどうかを特定すること。
• 非リプシッツ的項を、テイラー近似モデル（核中心制約下）または非リプシッツ的モデル（その制約なし）を用いて処理できる、複雑さを保つアルゴリズムを開発すること。
• 新たな一次臨界性測度と $|x|^q$ の両側モデルを確立し、奇数次多項式を用いた有効な過剰推定を可能にする。

提案手法

• 滑らかでない部分の目的関数に $p$ 階（$p$ が奇数）のテイラー近似モデルを用い、非リプシッツ的 $|x_i|^q$ 項には両側モデルを適用することで、特異性付近での関数のグローバル過剰推定を保証する。
• 非リプシッツ的特異性が存在する中で $\epsilon$-近似臨界点を定量化するための新しい一次臨界性測度を定義する。
• 射影が $U_i$ の核空間に属する際にも妥当性を保つ「核中心型」の実行可能集合を仮定し、これにより実行可能性が保たれる。
• 非リプシッツ的モデルの場合は、特異性の取り扱いの難易度を部分問題の解法に移譲することで、核中心制約が不要な広範な適用可能性を実現する。
• 奇数次 $p$ に対して、$|x_i + s_i|^q$ を有効に過剰推定する対称的かつ有効なモデル $T_{|\cdot|^q,p}(x_i, s_i)$ を導入する。
• 滑らか化関数を避ける代わりに、$|x|^q$ の内在的対称性を活用して、頑健なモデルを構築する。

実験結果

リサーチクエスチョン

• RQ1 非リプシッツ的 $\ell_q$-ノルム正則化（$q \in (0,1)$）が、リプシッツ的ケースと比較して最悪計算量の複雑さを増加させるか？
• RQ2 奇数次 $p$ の場合に、$|x|^q$ 項に高次テイラー近似モデルを効果的に適用でき、既知の複雑さ境界 $O(\epsilon^{-(p+1)/p})$ を保つのか？
• RQ3 問題の部分的に分離可能な構造を活用すると、計算量の複雑さの次数に影響が出るか？
• RQ4 実行可能集合が核中心型でなく、非リプシッツ的項にテイラー近似モデルを適用する場合、複雑さ境界はどうなるか？
• RQ5 非リプシッツ的項を直接部分問題にモデル化する場合、複雑さ境界が保たれるか？

主な発見

• 奇数次 $p$ のモデルを用いる場合、$O(\epsilon^{-(p+1)/p})$ の計算量境界が達成され、純粋なリプシッツ的問題と同等の既知の複雑さが保たれる。
• 核中心型実行可能集合の仮定の下で、テイラー近似モデルを用いる場合、非リプシッツ的 $\ell_q$-ノルム正則化項が存在しても、複雑さ境界が保たれる。
• 部分的に分離可能な構造は複雑さの次数に影響せず、高次導関数テンソルの効率的利用が可能になる。
• 非リプシッツ的モデルを用いる場合、実行可能集合が核中心型でなくても、同じ複雑さ境界が成り立つが、一般には境界が劣化する。
• 両側モデル $T_{|\cdot|^q,p}(x_i, s_i)$ は、奇数次 $p$ に対して対称的かつ有効な過剰推定を提供し、滑らか化関数の必要性を回避する。
• 偶数次モデルを $|x|^q$ に用いるのは問題であり、特異性付近での正則化要件が無限大に発散するため、複雑さが劣化する。したがって、奇数次モデルが不可欠である。