[论文解读] Variational analysis of spectral functions simplified

Dmitriy Drusvyatskiy, C. Kempton|arXiv (Cornell University)|Jun 16, 2015

Matrix Theory and Algorithms参考文献 14被引用 12

一句话总结

本文通过 Moreau 包络与近端映射，提供了对对称矩阵上谱函数次微分公式的简洁、几何直观的推导。结果表明，谱函数 $ f \circ \lambda $ 在矩阵 $ X $ 处的次微分由 $ f $ 在 $ \lambda(X) $ 处的次微分经保持 $ X $ 的正交矩阵共轭而确定，对厄米特矩阵与奇异值亦有直接类比。

ABSTRACT

Spectral functions of symmetric matrices -- those depending on matrices only through their eigenvalues -- appear often in optimization. A cornerstone variational analytic tool for studying such functions is a formula relating their subdifferentials to the subdifferentials of their diagonal restrictions. This paper presents a new, short, and revealing derivation of this result. We then round off the paper with an illuminating derivation of the second derivative of twice differentiable spectral functions, highlighting the underlying geometry. All of our arguments have direct analogues for spectral functions of Hermitian matrices, and for singular value functions of rectangular matrices.

研究动机与目标

• 提供对对称矩阵上谱函数次微分公式的简短、初等且几何上清晰的推导。
• 阐明谱函数的次微分与其中枢对称函数的次微分之间通过近端映射的联系。
• 将分析扩展至 $ C^2 $-光滑谱函数，以透明的几何方式推导其黑塞矩阵。
• 将框架推广至其他群不变情形，包括奇异值函数与厄米特矩阵。
• 使用最少的几何与分析工具，统一并简化现有谱函数与奇异值函数变分分析的结果。

提出的方法

• 利用 Moreau 包络 $ f_\alpha(x) = \inf_y \{ f(y) + \frac{1}{2\alpha} |x - y|^2 \} $，将 $ f \circ \lambda $ 的近端映射与 $ f $ 的近端映射关联，建立 $ (f \circ \lambda)_\alpha = f_\alpha \circ \lambda $。
• 应用 Theobald–von Neumann 不等式，确保对称矩阵空间 $ \mathbf{S}^n $ 到 $ \mathbf{R}^n $ 的度量约化，使谱函数分析可归约为对角情形。
• 应用如下刻画：$ v \in \partial g(x) $ 当且仅当单变量函数 $ \alpha \mapsto g_\alpha(x + \alpha v) $ 在 0 处具有右导数，从而将次微分成员关系与近端行为联系起来。
• 通过梯度图的不变性性质，推导 $ C^2 $-光滑谱函数的黑塞矩阵，将二阶导数解释为对角项与 Hadamard 型项的组合。
• 通过度量约化建立 $ \mathcal{G} $-不变函数的一般框架，其中 $ \mathcal{G} $ 为紧致等距群，并定义拉回与上推映射，以关联轨道空间与全空间上的函数。
• 利用忠实度量约化条件，确保全空间上的近端映射对应于约化空间上近端点的群轨道，从而导出关键的次微分公式。

实验结果

研究问题

• RQ1 如何以类似凸情形的可及性与直观性，推导谱函数的次微分公式？
• RQ2 Moreau 包络与近端映射在连接谱函数的次微分与其对角限制的次微分中起何作用？
• RQ3 特征值映射的几何结构与群不变性如何简化非光滑谱函数的分析？
• RQ4 是否能以几何清晰性而非代数晦涩性，推导 $ C^2 $-光滑谱函数的二阶导数？
• RQ5 度量约化与群作用的框架在多大程度上可推广至其他不变函数，如奇异值函数？

主要发现

• 谱函数 $ f \circ \lambda $ 在矩阵 $ X $ 处的次微分为 $ \partial(f \circ \lambda)(X) = \{ U (\text{Diag}\, v) U^T : v \in \partial f(\lambda(X)),\, U \in \mathcal{O}_X^n \} $，其中 $ \mathcal{O}_X^n $ 是 $ X $ 在正交共轭下的稳定子群。
• 谱函数 $ f \circ \lambda $ 的 Moreau 包络满足 $ (f \circ \lambda)_\alpha = f_\alpha \circ \lambda $，从而可直接将近端映射计算约化至对角情形。
• 谱函数 $ f \circ \lambda $ 在 $ X $ 处的近端映射为 $ P_\alpha(f \circ \lambda)(X) = \{ g^{-1} Y : y \in P_\alpha f(p(X)),\, g \in \mathcal{G}_X \} $，其中 $ \mathcal{G}_X $ 是 $ X $ 的稳定子群。
• 对于 $ C^2 $-光滑谱函数，其黑塞矩阵表达为 $ \nabla^2 F(\text{Diag}\, a)[B] = \text{Diag}(\nabla^2 f(a) \cdot \text{diag}(B)) + \mathcal{A} \circ B $，其中 $ \mathcal{A}_{ij} $ 通过梯度差值定义，且黑塞项依赖于特征值的分离程度。
• 该框架可推广至对称矩阵之外：相同的次微分公式对厄米特矩阵与奇异值函数同样成立，基于相同的群作用与度量约化原理。
• 该推导仅依赖于 Theobald–von Neumann 不等式与特征值映射的结构，因此具有强鲁棒性，并可适用于欧氏空间上等距群作用的更广泛情形。