[论文解读] Beyond Moore-Penrose Part II: The Sparse Pseudoinverse

Ivan Dokmanić, Rémi Gribonval|arXiv (Cornell University)|Jun 27, 2017

Sparse and Compressive Sensing Techniques参考文献 18被引用 6

一句话总结

本文通过最小化矩阵元素的 $\ell^1$ 范数，提出了一种计算上高效的 Moore-Penrose 广义逆的替代方法。利用凸优化和随机矩阵理论工具，证明了稀疏广义逆在几乎所有矩阵下具有唯一性，并实现最优稀疏性，同时在 $1 \leq p \leq 2$ 的有限样本条件下保持 Frobenius 范数下的稳定性。主要贡献在于为 $\ell^p$-最小化逆矩阵建立了有限尺寸的浓度界，确保了对噪声的鲁棒性。

ABSTRACT

This is the second part of a two-paper series on generalized inverses that minimize matrix norms. In Part II we focus on generalized inverses that are minimizers of entrywise p norms whose main representative is the sparse pseudoinverse for $p = 1$. We are motivated by the idea to replace the Moore-Penrose pseudoinverse by a sparser generalized inverse which is in some sense well-behaved. Sparsity implies that it is faster to apply the resulting matrix; well-behavedness would imply that we do not lose much in stability with respect to the least-squares performance of the MPP. We first address questions of uniqueness and non-zero count of (putative) sparse pseu-doinverses. We show that a sparse pseudoinverse is generically unique, and that it indeed reaches optimal sparsity for almost all matrices. We then turn to proving our main stability result: finite-size concentration bounds for the Frobenius norm of p-minimal inverses for $1 $\le$ p $\le$ 2$. Our proof is based on tools from convex analysis and random matrix theory, in particular the recently developed convex Gaussian min-max theorem. Along the way we prove several results about sparse representations and convex programming that were known folklore, but of which we could find no proof.

研究动机与目标

• 通过最小化逐元素 $\ell^p$ 范数（重点关注 $p=1$ 以实现稀疏性）来开发 Moore-Penrose 广义逆的计算高效替代方法。
• 解决构造稀疏广义逆的挑战，保持良好的最小二乘性能，避免传统 $\ell^0$-基础方法中常见的病态条件问题。
• 为 $1 \leq p \leq 2$ 范围内的 $\ell^p$-最小化广义逆建立唯一性、稀疏性和稳定性的理论保证。
• 利用凸分析和凸高斯极小-极大定理，证明 $\ell^p$-最小化逆矩阵的 Frobenius 范数的有限尺寸浓度界。

提出的方法

• 将稀疏广义逆表述为一个凸优化问题的解：$\mathsf{spinv}(\mathbf{A}) = \arg\min_{\mathbf{X} \in \mathcal{G}(\mathbf{A})} \|\mathrm{vec}(\mathbf{X})\|_1$，以确保计算上的可处理性。
• 应用凸分析和随机矩阵理论的工具，特别是凸高斯极小-极大定理，推导出有限样本的浓度界。
• 证明 $\ell^1$-最小化逆在几乎所有具有满列秩的矩阵 $\mathbf{A}$ 下具有通用唯一性，并实现最优稀疏性。
• 通过 $\ell^1$-最小化问题的有界松弛来处理非唯一性，并推导出概率稳定性结果。
• 建立 $\ell^1$-范数最小化作为广义逆背景下 NP 难的 $\ell^0$-最小化问题的凸代理。
• 通过分析随机矩阵系综下解到凸集的距离，推导出 $\ell^p$-最小化逆矩阵 Frobenius 范数的浓度界。

实验结果

研究问题

• RQ1 是否 $\ell^1$-最小化广义逆在通用情况下具有唯一性，并对几乎所有矩阵都实现最优稀疏性？
• RQ2 能否证明 $\ell^1$-最小化逆在有限样本噪声下具有稳定性，并对其 Frobenius 范数建立浓度界？
• RQ3 在最小二乘性能和计算效率方面，$\ell^1$-最小化逆与 Moore-Penrose 广义逆相比如何？
• RQ4 $\ell^1$-最小化与广义逆背景下 NP 难的 $\ell^0$-最小化之间存在何种关系？
• RQ5 在何种条件下，$\ell^1$-最小化逆与有界优化问题的解一致？

主要发现

• 对于几乎所有具有满列秩的矩阵 $\mathbf{A}$，$\ell^1$-最小化广义逆具有通用唯一性，并实现最优稀疏性。
• 通过 $\ell^1$ 最小化计算的稀疏广义逆是 NP 难的 $\ell^0$-最小化问题的凸代理，且在通用情况下产生最稀疏的解。
• 为 $1 \leq p \leq 2$ 的 $\ell^p$-最小化逆矩阵的 Frobenius 范数建立了有限尺寸浓度界，确保了在噪声下的稳定性。
• $\ell^1$-最小化逆的 Frobenius 范数以高概率集中在其期望值附近，其浓度界由 $\mathbb{P}[\|\tilde{\mathbf{x}}_K \neq \tilde{\mathbf{x}}]\leq 4\zeta(n, \omega(\epsilon)/2)$ 量化。
• 该证明依赖于凸高斯极小-极大定理，表明 $\ell^1$-最小化逆维持了接近最优的最小二乘性能。
• $\ell^1$-最小化逆被证明具有鲁棒性，当满足某些条件时，有界问题的解集与无界问题的解集一致，从而确保了稳定性。