[論文レビュー] Locally upper Lipschitz of the perturbed KKT system of Ky Fan $k$-norm matrix conic optimization problems

Yulan Liu, Shaohua Pan|arXiv (Cornell University)|Sep 2, 2015

Sparse and Compressive Sensing Techniques参考文献 13被引用数 6

ひとこと要約

本稿は、キ・ファン $k$-ノルム行列コーン最適化問題における2種類の摂動付きKKTシステムの解写像の局所的上ラプラシアン性を確立する。2次十分条件および厳密ロビンソンの制約規準の下で、$k$-ノルム行列コーンへの正規写像の図形的導関数の同値特徴付けを用いて局所的誤差境界を証明し、最適化アルゴリズムの収束速度解析を保証する。

ABSTRACT

This note is concerned with the nonlinear Ky Fan $k$-norm matrix conic optimization problems, which include the nuclear norm regularized minimization problem as a special case. For this class of nonpolyhedral matrix conic optimization problems, under the assumption that a stationary solution satisfies the second-order sufficient condition and the associated Lagrange multiplier satisfies the strict Robinson's CQ, we show that two classes of perturbed KKT systems are locally upper Lipschitz at the origin, which implies a local error bound for the distance from any point in a neighborhood of the corresponding KKT point to the whole set of KKT points.

研究の動機と目的

• キ・ファン $k$-ノルム行列コーン最適化問題における摂動付きKKTシステムの解写像の安定性を分析すること。
• これらのシステムの局所的誤差境界を確立すること。これは、数値的アルゴリズムの収束速度解析に不可欠である。
• $k$-ノルム行列コーンへの正規写像写像の図形的導関数を特徴付けること。これにより、解の安定性解析が可能になる。
• 非多面体行列コーン最適化問題、特に核ノルムが特殊ケースとして含まれる問題に収束理論を拡張すること。

提案手法

• ラグランジュ関数を用いたKKTシステムの再定式化およびキ・ファン $k$-ノルムコーンへの射影を適用する。
• 特異値分解およびスペクトル分解から導かれる $k$-ノルム行列コーンへの正規写像の図形的導関数の同値特徴付けを適用する。
• 2次十分条件および厳密ロビンソンの制約規準を用いて、KKT解写像の強い安定性を保証する。
• 2種類の摂動付きKKTシステムを分析する：1つはKKT残差に摂動が加わるタイプ、もう1つは問題データに摂動が加わるタイプ。
• 方向微分および接錐解析を用いて、解写像が局所的に上ラプラシアンである条件を導出する。
• 連続的接錐および正規錐の凸解析的性質を含む、変分解析の高度な道具を用いて、主結果を確立する。

実験結果

リサーチクエスチョン

• RQ1 キ・ファン $k$-ノルム行列コーン最適化問題における摂動付きKKTシステムの解写像が原点で局所的に上ラプラシアンである条件は何か？
• RQ2 $k$-ノルム行列コーンへの正規写像の図形的導関数は、特異値およびスペクトル射影を用いてどのように特徴付けられるか？
• RQ3 厳密ロビンソンの制約規準は、KKT解写像の局所的安定性を保証するために果たす役割は何か？
• RQ4 2次十分条件は、局所的誤差境界および解写像のラプラシアン安定性にどのように寄与するか？
• RQ5 本分析から得られる局所的誤差境界は、このような最適化問題を解く数値的アルゴリズムの収束速度を確立するために利用可能か？

主な発見

• 2次十分条件および厳密ロビンソンの制約規準の下で、摂動付きKKTシステムの解写像は原点で局所的に上ラプラシアンである。
• スペクトル分解および特異値構造を用いて、$k$-ノルム行列コーンへの正規写像の図形的導関数の同値特徴付けが得られた。
• 同じ条件下で局所的誤差境界が成立し、これは1次最適化法の収束速度解析に不可欠である。
• $k = m$ のとき、核ノルム正則化問題として特殊ケースに適用可能であり、低ランク行列回復問題への安定性結果の拡張が可能である。
• 解析により、問題データの小さな摂動に対してもKKTシステムが安定していることが確認され、数値的ソルバーのロバスト性が保証される。
• 証明技法は、射影作用素の方向微分および接錐解析に依拠しており、感度解析の厳密な基盤を提供する。