[论文解读] Beyond Moore-Penrose Part I: Generalized Inverses that Minimize Matrix Norms

Ivan Dokmanić, Rémi Gribonval|arXiv (Cornell University)|Jun 26, 2017

Sparse and Compressive Sensing Techniques参考文献 27被引用 16

一句话总结

本文提出了一种广义逆的框架，可最小化超出Frobenius范数的各类矩阵范数，证明Moore-Penrose伪逆（MPP）可最小化更广泛的酉不变范数类。研究识别出在稀疏恢复和反问题中，其他逆矩阵——特别是最小化混合范数和ℓ^p→ℓ^q范数的逆矩阵——表现更优的条件，关键结果表明：在特定条件下，仅当p=2时MPP才是唯一范数最小化的逆矩阵。

ABSTRACT

This is the first paper of a two-long series in which we study linear generalized inverses that minimize matrix norms. Such generalized inverses are famously represented by the Moore-Penrose pseudoinverse (MPP) which happens to minimize the Frobenius norm. Freeing up the degrees of freedom associated with Frobenius optimality enables us to promote other interesting properties. In this Part I, we look at the basic properties of norm-minimizing generalized inverses, especially in terms of uniqueness and relation to the MPP. We first show that the MPP minimizes many norms beyond those unitarily invariant, thus further bolstering its role as a robust choice in many situations. We then concentrate on some norms which are generally not minimized by the MPP, but whose minimization is relevant for linear inverse problems and sparse representations. In particular, we look at mixed norms and the induced $\ell^p ightarrow \ell^q$ norms. An interesting representative is the sparse pseudoinverse which we study in much more detail in Part II. Next, we shift attention from norms to matrices with interesting behaviors. We exhibit a class whose generalized inverse is always the MPP-even for norms that normally result in different inverses-and a class for which many generalized inverses coincide, but not with the MPP. Finally, we discuss efficient computation of norm-minimizing generalized inverses.

研究动机与目标

• 通过研究最小化各类矩阵范数的广义逆矩阵，将对广义逆的理解从Moore-Penrose伪逆扩展至更广泛范围。
• 识别出在哪些条件下，非MPP逆矩阵可最小化混合范数和ℓ^p→ℓ^q范数等范数，这些范数与稀疏表示密切相关。
• 刻画出MPP是唯一范数最小化逆矩阵的矩阵类别，以及MPP并非唯一但多个逆矩阵重合的其他矩阵类别。
• 为高效计算范数最小化广义逆矩阵建立理论基础。
• 为第二部分奠定基础，第二部分将详细研究稀疏伪逆。

提出的方法

• 本文分析了最小化任意矩阵范数的广义逆矩阵的唯一性与结构，重点关注酉不变范数与非酉不变范数。
• 通过几何与变分论证，推导出Moore-Penrose伪逆在Frobenius范数之外的范数中仍能最小化的条件。
• 引入并研究了稀疏伪逆，即在约束AX=I下最小化向量化逆矩阵的ℓ^1范数的解。
• 构造了若干显式反例，表明对于某些ℓ^p→ℓ^q范数，MPP并非最小化者，从而证明存在其他最优逆矩阵。
• 采用分析技术，包括凸性论证与导数分析，证明在特定矩阵构造下，范数最小化方程仅在p=2时为零。
• 建立了范数最小化与投影矩阵结构之间的联系，特别是在秩亏缺情形下。

实验结果

研究问题

• RQ1 在何种条件下，Moore-Penrose伪逆可最小化超出Frobenius范数的矩阵范数？
• RQ2 对于非酉不变范数，Moore-Penrose伪逆在哪些范数下并非最优？其对应的广义逆是什么？
• RQ3 能否高效计算最小化ℓ^p→ℓ^q范数或混合范数的广义逆矩阵，并在稀疏恢复中取得更优性能？
• RQ4 是否存在MPP是唯一范数最小化逆矩阵的矩阵类别，以及存在多个逆矩阵重合但非MPP的矩阵类别？
• RQ5 对于给定矩阵，MPP最小化ℓ^p→ℓ^q范数的精确条件是什么？该条件在何时会失效？

主要发现

• Moore-Penrose伪逆可最小化一大类酉不变范数，进一步强化了其在矩阵求逆中的稳健性地位。
• 对于p≠2的ℓ^p→ℓ^q范数，Moore-Penrose伪逆并非最小化者，存在其他在该类范数下最优的替代逆矩阵。
• 稀疏伪逆（定义为在约束AX=I下最小化向量化逆矩阵ℓ^1范数的解）被证明可产生条件良好且稀疏的逆矩阵，与简单子矩阵求逆不同。
• 存在某些矩阵，即使在非酉不变范数下，Moore-Penrose伪逆仍是唯一范数最小化逆矩阵。
• 对于特定的3×3矩阵构造，MPP仅在p=2时是ℓ^p→ℓ^q范数的唯一最小化者，而在p>2或p<2时不成立。
• 本文通过解析证明，在构造示例中，范数最小化方程仅在p=2时为零，确认MPP在此情况下仅当p=2时为最优。