[论文解读] Locally upper Lipschitz of the perturbed KKT system of Ky Fan $k$-norm matrix conic optimization problems

Yulan Liu, Shaohua Pan|arXiv (Cornell University)|Sep 2, 2015

Sparse and Compressive Sensing Techniques参考文献 13被引用 6

一句话总结

本文建立了在Ky Fan $k$-范数矩阵锥优化问题中两类扰动KKT系统的解映射的局部上Lipschitz性质。在二阶充分条件和严格Robinson约束规范下，通过正规锥到$k$-范数矩阵锥的图形导数的等价刻画，证明了局部误差界，从而确保了优化算法的收敛速率分析。

ABSTRACT

This note is concerned with the nonlinear Ky Fan $k$-norm matrix conic optimization problems, which include the nuclear norm regularized minimization problem as a special case. For this class of nonpolyhedral matrix conic optimization problems, under the assumption that a stationary solution satisfies the second-order sufficient condition and the associated Lagrange multiplier satisfies the strict Robinson's CQ, we show that two classes of perturbed KKT systems are locally upper Lipschitz at the origin, which implies a local error bound for the distance from any point in a neighborhood of the corresponding KKT point to the whole set of KKT points.

研究动机与目标

• 分析Ky Fan $k$-范数矩阵锥优化问题中扰动KKT系统的解映射稳定性。
• 为这些系统建立局部误差界，这对于数值算法的收敛速率分析至关重要。
• 刻画$k$-范数矩阵锥正规锥映射的图形导数，从而支持解映射稳定性的分析。
• 将收敛性理论扩展至非多面体矩阵锥优化问题，特别是当涉及核范数时作为特例。

提出的方法

• 通过Lagrangian和到Ky Fan $k$-范数锥的投影，重新表述Karush-Kuhn-Tucker (KKT) 系统。
• 应用$k$-范数矩阵锥正规锥图形导数的等价刻画，该刻画基于奇异值分解和谱分解推导得出。
• 采用二阶充分条件和严格Robinson约束规范，以确保KKT解映射的强稳定性。
• 分析两类扰动KKT系统：一类是KKT残差中的扰动，另一类是问题数据中的扰动。
• 利用方向导数和切锥分析，推导出解映射为局部上Lipschitz的条件。
• 依赖变分分析中的高级工具，包括相契锥和凸分析中的正规锥，以建立主要结果。

实验结果

研究问题

• RQ1 在什么条件下，Ky Fan $k$-范数矩阵锥优化问题中扰动KKT系统的解映射在原点处是局部上Lipschitz的？
• RQ2 如何用奇异值和谱投影来刻画$k$-范数矩阵锥正规锥图形导数的等价形式？
• RQ3 严格Robinson约束规范在确保KKT解映射局部稳定性方面起到什么作用？
• RQ4 二阶充分条件如何促进局部误差界和解映射的Lipschitz稳定性？
• RQ5 由此分析导出的局部误差界能否用于建立求解此类优化问题的数值算法的收敛速率？

主要发现

• 在二阶充分条件和严格Robinson约束规范下，扰动KKT系统的解映射在原点处是局部上Lipschitz的。
• 通过谱分解和奇异值结构，推导出$k$-范数矩阵锥正规锥图形导数的等价刻画。
• 在相同条件下，局部误差界成立，这对于一阶方法的收敛速率分析至关重要。
• 当 $k = m$ 时，该结果适用于核范数正则化问题作为特例，从而将稳定性结果扩展至低秩矩阵恢复问题。
• 分析表明，KKT系统在数据的小扰动下仍保持稳定，确保了数值求解器的鲁棒性。
• 证明技术依赖于投影算子的方向导数和切锥分析，为敏感性分析提供了严格的理论基础。