[论文解读] Kurdyka-Łojasiewicz exponent via inf-projection

Peiran Yu, Guoyin Li+1 more|arXiv (Cornell University)|Feb 10, 2019

Advanced Optimization Algorithms Research参考文献 54被引用 10

一句话总结

本文证明了在优化重构中的基本操作——下确界投影（inf-projection）下，Kurdyka-Łojasiewicz（KL）指数保持不变。利用这一结果，作者推导出关键凸与非凸模型的显式KL指数，包括低秩矩阵恢复、组Lasso变体及Bregman包络，其中最小二乘与秩约束矩阵指示函数之和的KL指数为 $1 - \frac{1}{4 \cdot 9^{\tau}}$，其中 $\tau$ 取决于矩阵维度。

ABSTRACT

Kurdyka-Lojasiewicz (KL) exponent plays an important role in estimating the convergence rate of many contemporary first-order methods. In particular, a KL exponent of $\frac12$ for a suitable potential function is related to local linear convergence. Nevertheless, KL exponent is in general extremely hard to estimate. In this paper, we show under mild assumptions that KL exponent is preserved via inf-projection. Inf-projection is a fundamental operation that is ubiquitous when reformulating optimization problems via the lift-and-project approach. By studying its operation on KL exponent, we show that the KL exponent is $\frac12$ for several important convex optimization models, including some semidefinite-programming-representable functions and some functions that involve $C^2$-cone reducible structures, under conditions such as strict complementarity. Our results are applicable to concrete optimization models such as group fused Lasso and overlapping group Lasso. In addition, for nonconvex models, we show that the KL exponent of many difference-of-convex functions can be derived from that of their natural majorant functions, and the KL exponent of the Bregman envelope of a function is the same as that of the function itself. Finally, we estimate the KL exponent of the sum of the least squares function and the indicator function of the set of matrices of rank at most $k$.

研究动机与目标

• 建立Kurdyka-Łojasiewicz（KL）指数在下确界投影操作下的微分法则，该操作是优化重构中的关键变换。
• 推导重要凸与非凸优化模型的显式KL指数，包括半定规划可表征函数和 $C^2$-锥可约结构。
• 解决最小二乘函数与秩为 $k$ 的矩阵集合指示函数之和的KL指数问题，这是低秩矩阵恢复中的核心模型。
• 将KL指数分析扩展至非凸模型，如凸函数之差与Bregman包络，证明这些操作下KL指数的不变性。
• 识别出在结构化凸模型中可显式计算KL指数的条件，特别是严格互补性条件。

提出的方法

• 作者提出一种新颖的微分法则，表明在适度正则性条件下，当对适当闭函数 $F(x,y)$ 进行下确界投影 $f(x) = \inf_y F(x,y)$ 时，KL指数保持不变。
• 他们将该结果应用于凸模型，验证了具有已知KL指数的函数在下确界投影后仍保持该指数，尤其在底层流形结构满足严格互补性时成立。
• 针对低秩矩阵恢复模型，他们构建了一个包含正交性约束的提升形式，并利用隐函数定理验证约束映射导数的单射性。
• 他们利用KL性质与误差界之间的联系，特别是首阶误差界与Hölder增长条件，将KL指数与可行集结构相关联。
• 分析过程包括验证定理3.1的条件，如对下确界变量的局部有界性及次微分存在的非空性，以应用下确界投影微分法则。
• 对于非凸模型，他们利用控制函数与Bregman包络的性质，将KL指数信息从较简单函数传递至更复杂函数。

实验结果

研究问题

• RQ1 Kurdyka-Łojasiewicz（KL）指数在下确界投影操作下是否保持不变？该操作是提升与投影重构中的核心工具。
• RQ2 最小二乘函数与秩至多为 $k$ 的矩阵集合指示函数之和的KL指数是多少？
• RQ3 能否从凸函数之差的凸控制函数中推导出其KL指数？Bregman包络是否保持原函数的KL指数？
• RQ4 在何种条件下——特别是严格互补性——可对包含 $C^2$-锥可约结构的凸模型显式计算KL指数？
• RQ5 如何估计组融合Lasso与重叠组Lasso等非凸模型的KL指数？这些模型在高维统计中广泛应用。

主要发现

• 当约束映射为单射且函数为适当闭函数时，KL指数在下确界投影下保持不变，从而建立了KL指数的新微分法则。
• 对于最小二乘函数与秩为 $k$ 的矩阵集合指示函数之和，KL指数显式为 $1 - \frac{1}{4 \cdot 9^{\tau}}$，其中 $\tau$ 取决于矩阵维度与秩约束。
• 函数的Bregman包络的KL指数与原函数相同，该结果将已知结论扩展至非凸情形。
• 对于凸函数之差，其KL指数可由其自然凸控制函数的KL指数推导得出，从而实现了对非凸模型的分析。
• 在严格互补性条件下，包含 $C^2$-锥可约结构的凸模型的KL指数为 $\frac{1}{2}$，该结果涵盖重要情形如组融合Lasso与重叠组Lasso。
• 分析结果确认，带SCAD或MCP正则化的最小二乘损失的KL指数为 $\frac{1}{2}$，与已知结果一致，但现通过下确界投影微分法则推导得出。