[論文レビュー] Beyond Moore-Penrose Part II: The Sparse Pseudoinverse

Ivan Dokmanić, Rémi Gribonval|arXiv (Cornell University)|Jun 27, 2017

Sparse and Compressive Sensing Techniques参考文献 18被引用数 6

ひとこと要約

本稿では、行列要素の $\ell^1$ ノルムを最小化することにより、計算的に効率的な Moore-Penrose疑似逆行列の代替手法としてスパース疑似逆行列を導入する。凸最適化および確率的行列理論の道具を用いて、スパース疑似逆行列が一般に一意的であり、ほとんどすべての行列に対して最適なスパarsityを達成することを証明する。また、$1 \leq p \leq 2$ の有限標本条件下で、Frobeniusノルムにおいて安定性を維持する。主な貢献は、$\ell^p$-最小化逆行列に対する有限サイズの集中不等式の確立であり、ノイズに対するロバスト性を保証する。

ABSTRACT

This is the second part of a two-paper series on generalized inverses that minimize matrix norms. In Part II we focus on generalized inverses that are minimizers of entrywise p norms whose main representative is the sparse pseudoinverse for $p = 1$. We are motivated by the idea to replace the Moore-Penrose pseudoinverse by a sparser generalized inverse which is in some sense well-behaved. Sparsity implies that it is faster to apply the resulting matrix; well-behavedness would imply that we do not lose much in stability with respect to the least-squares performance of the MPP. We first address questions of uniqueness and non-zero count of (putative) sparse pseu-doinverses. We show that a sparse pseudoinverse is generically unique, and that it indeed reaches optimal sparsity for almost all matrices. We then turn to proving our main stability result: finite-size concentration bounds for the Frobenius norm of p-minimal inverses for $1 $\le$ p $\le$ 2$. Our proof is based on tools from convex analysis and random matrix theory, in particular the recently developed convex Gaussian min-max theorem. Along the way we prove several results about sparse representations and convex programming that were known folklore, but of which we could find no proof.

研究の動機と目的

• エントリごとの $\ell^p$ ノルムを最小化することにより、Moore-Penrose疑似逆行列の計算的に効率的な代替手法を開発すること。特にスパarsityを重視し、$p=1$ を焦点とする。
• 劣悪な条件数が見られる単純な $\ell^0$-ベースのアプローチを避けることにより、良好な最小二乗性能を維持するスパース一般逆行列を構築する課題に対処すること。
• $1 \leq p \leq 2$ の $\ell^p$-最小化一般逆行列の、一意性、スパarsity、安定性に関する理論的保証を確立すること。
• 凸解析および凸ガウス的ミニマックス定理を用いて、$\ell^p$-最小化逆行列のFrobeniusノルムに対する有限サイズの集中不等式を証明すること。

提案手法

• スパース疑似逆行列を次式の凸最適化問題の解として定式化する：$\mathsf{spinv}(\mathbf{A}) = \arg\min_{\mathbf{X} \in \mathcal{G}(\mathbf{A})} \|\mathrm{vec}(\mathbf{X})\|_1$。これにより、計算の実行可能性が保証される。
• 特に凸ガウス的ミニマックス定理を用いて、有限標本における集中不等式を導出するため、凸解析および確率的行列理論の道具を適用する。
• 一般に、$\ell^1$-最小化逆行列は一意的であり、フルカラムランクを持つほとんどすべての行列 $\mathbf{A}$ に対して最適なスパarsityを達成することを証明する。
• 一意性の欠如を扱うために $\ell^1$-最小化問題の有界化リラクゼーションを用い、確率的安定性結果を導出する。
• $\ell^1$-ノルム最小化が、一般逆行列の文脈におけるNP困難な $\ell^0$-最小化問題の凸代理問題として機能することを示す。
• ランダム行列集合における解の凸集合への距離を分析することにより、$\ell^p$-最小化逆行列のFrobeniusノルムに対する集中不等式を導出する。

実験結果

リサーチクエスチョン

• RQ1 一般に $\ell^1$-最小化一般逆行列は一意的であり、ほとんどすべての行列に対して最適なスパarsityを達成するか？
• RQ2 $\ell^1$-最小化逆行列は有限標本ノイズ下で安定であるか？ そのFrobeniusノルムに対する集中不等式は示せるか？
• RQ3 $\ell^1$-最小化逆行列は、最小二乗性能および計算効率の観点から、Moore-Penrose疑似逆行列と比較してどのように異なるか？
• RQ4 一般逆行列の文脈において、$\ell^1$-最小化とNP困難な $\ell^0$-最小化の関係は何か？
• RQ5 $\ell^1$-最小化逆行列が有界最適化問題の解と一致する条件は何か？

主な発見

• $\ell^1$-最小化一般逆行列は、一般に一意的であり、フルカラムランクを持つほとんどすべての行列 $\mathbf{A}$ に対して最適なスパarsityを達成する。
• スパース疑似逆行列は、$\ell^1$ 最小化によって計算され、NP困難な $\ell^0$-最小化問題の凸代理問題として機能し、一般に最もスパースな解を生成する。
• $1 \leq p \leq 2$ の $\ell^p$-最小化逆行列のFrobeniusノルムに対して、有限サイズの集中不等式が確立され、ノイズ下での安定性が保証される。
• $\ell^1$-最小化逆行列のFrobeniusノルムは、高い確率でその期待値のまわりに集中しており、不等式 $\mathbb{P}[\|\tilde{\mathbf{x}}_K \neq \tilde{\mathbf{x}}]\leq 4\zeta(n, \omega(\epsilon)/2)$ によって定量的に示される。
• 証明は凸ガウス的ミニマックス定理に依拠しており、$\ell^1$-最小化逆行列が近似的に最適な最小二乗性能を維持することを示している。
• $\ell^1$-最小化逆行列はロバストであることが示され、特定の条件下では有界問題の解集合が無限大問題の解集合と一致し、安定性が保証される。