[论文解读] Low-rank Approximation of Linear Maps

Patrick Héas, Cédric Herzet|arXiv (Cornell University)|Dec 21, 2018

Sparse and Compressive Sensing Techniques参考文献 12被引用 5

一句话总结

本文提出了一种在希尔伯特空间中有界线性算子的低秩逼近问题的闭式解法，采用希尔伯特-施密特范数。该方法将有限维的艾克特-杨定理推广至无限维情形，表明 $Y - M X$ 的最优秩-$k$ 逼近为 $M_k^* = P_k Y X^\flat$，其中 $P_k$ 是投影到 $Z = Y X^\flat X$ 的前 $k$ 个奇异子空间上，误差由秩 $k$ 之后的奇异值平方和所界定。该方法为核方法与连续动态模态分解（DMD）提供了可计算的算法。

ABSTRACT

This work provides closed-form solutions and minimum achievable errors for a large class of low-rank approximation problems in Hilbert spaces. The proposed theorem generalizes to the case of bounded linear operators the previous results obtained in the finite dimensional case for the Frobenius norm. The theorem provides the basis for the design of tractable algorithms for kernel or continuous DMD.

研究动机与目标

• 解决希尔伯特空间中有界线性算子在无限维、非凸条件下的低秩逼近问题。
• 将此前仅适用于弗罗贝尼乌斯范数的有限维低秩逼近结果，推广至使用希尔伯特-施密特范数的无限维情形。
• 为问题 $\min_{M \in \mathcal{B}_k(\mathcal{V},\mathcal{V})} \|Y - M X\|_{\mathcal{HS}}$ 提供闭式解与精确误差表征，其中 $X, Y$ 为希尔伯特-施密特算子。
• 通过推导出可计算且解析最优的解，实现核方法与连续动态模态分解（DMD）的高效且最优算法。

提出的方法

• 该方法基于扩展至无限维希尔伯特空间的施密特-艾克特-杨-米尔斯基定理，推导出最优低秩逼近。
• 定义最优解为 $M_k^* = P_k Y X^\flat$，其中 $P_k$ 为投影到 $Z = Y X^\flat X$ 的前 $k$ 个左奇异子空间的正交投影，$X^\flat$ 为 $X$ 的广义逆（莫鲁-彭罗斯伪逆）。
• 通过将原问题经由 $X$ 与 $Y$ 的奇异值分解变换至一个变换空间，利用希尔伯特-施密特范数的酉不变性，推导出该解。
• 误差被分解为两部分：$\tilde{Y}$（$Y$ 的SVD中的奇异值）在秩 $k$ 之后的奇异值尾部，以及 $Y$ 投影到 $X$ 的零空间上的能量。
• 该方法可推广至使用紧自伴算子 $K$ 的修正希尔伯特-施密特范数，从而适用于加权内积的逼近问题。
• 证明通过建立原问题与在低维子空间中变换后问题的等价性，利用范数不变性与奇异值截断，证明了解的最优性。

实验结果

研究问题

• RQ1 能否为希尔伯特空间中有界线性算子在希尔伯特-施密特范数下的无限维低秩逼近问题推导出闭式解？
• RQ2 经典艾克特-杨定理是否可推广至希尔伯特-施密特算子范数的无限维情形？
• RQ3 希尔伯特空间中 $Y - M X$ 的低秩逼近可达到的最小误差是多少？其误差如何分解？
• RQ4 最优解如何用 $X$ 与 $Y$ 的奇异向量与奇异值表示？
• RQ5 该框架能否适配于加权或修正的希尔伯特-施密特范数？其对基于核方法与连续DMD的应用有何影响？

主要发现

• 低秩逼近问题 $\min_{M \in \mathcal{B}_k(\mathcal{V},\mathcal{V})} \|Y - M X\|_{\mathcal{HS}}$ 的最优解以闭式给出为 $M_k^* = P_k Y X^\flat$，其中 $P_k$ 为投影到 $Z = Y X^\flat X$ 的前 $k$ 个奇异子空间上。
• 平方逼近误差为 $\|Y - M_k^* X\|_{\mathcal{HS}}^2 = \sum_{i=k+1}^{m} (\sigma_i^Z)^2 + \sum_{i=\mathop{\rm rank}(X)+1}^{m} \sum_{j=1}^{m} (\sigma_j^Y)^2 \langle \psi_j^Y, \psi_i^X \rangle_{\mathcal{U}}^2$，明确分离了来自奇异值尾部的误差与来自 $Y$ 在 $X$ 的值域正交分量的误差。
• 误差表达式表明，当 $M_k^*$ 抓住了 $Y X^\dagger$ 的主导奇异子空间时，逼近误差最小，残余误差源于奇异值截断与 $X$ 的零空间。
• 该解将有限维艾克特-杨结果推广至无限维希尔伯特空间，保持了将无约束解投影至低维子空间的结构。
• 该方法为基于核方法与连续动态模态分解（DMD）提供了精确且可计算的算法，因其闭式解避免了迭代优化。
• 该框架可通过紧自伴算子 $K$ 推广至修正的希尔伯特-施密特范数，从而实现能量加权或内积加权的低秩逼近，对具有非均匀加权的DMD具有实际意义。