[논문 리뷰] Beyond Moore-Penrose Part II: The Sparse Pseudoinverse

Ivan Dokmanić, Rémi Gribonval|arXiv (Cornell University)|2017. 06. 27.

Sparse and Compressive Sensing Techniques참고 문헌 18인용 수 6

한 줄 요약

이 논문은 행렬 원소의 $\ell^1$ 노름을 최소화하여 계산적으로 효율적인 Moore-Penrose 역행렬의 대안으로 희소 역행렬을 제안한다. 볼록 최적화와 난수 행렬 이론의 도구를 사용하여, 희소 역행렬이 거의 모든 행렬에 대해 일반적으로 유일하고 최적의 희박성을 달성함을 증명하며, $1 \leq p \leq 2$ 조건 하에서 유한 표본 조건 하에서 프로베니우스 노름에서 안정성을 유지한다. 주요 기여는 $\ell^p$-최소화 역행렬에 대한 유한 크기 농도 경계를 확립하여 노이즈에 대한 강건성을 보장하는 것이다.

ABSTRACT

This is the second part of a two-paper series on generalized inverses that minimize matrix norms. In Part II we focus on generalized inverses that are minimizers of entrywise p norms whose main representative is the sparse pseudoinverse for $p = 1$. We are motivated by the idea to replace the Moore-Penrose pseudoinverse by a sparser generalized inverse which is in some sense well-behaved. Sparsity implies that it is faster to apply the resulting matrix; well-behavedness would imply that we do not lose much in stability with respect to the least-squares performance of the MPP. We first address questions of uniqueness and non-zero count of (putative) sparse pseu-doinverses. We show that a sparse pseudoinverse is generically unique, and that it indeed reaches optimal sparsity for almost all matrices. We then turn to proving our main stability result: finite-size concentration bounds for the Frobenius norm of p-minimal inverses for $1 $\le$ p $\le$ 2$. Our proof is based on tools from convex analysis and random matrix theory, in particular the recently developed convex Gaussian min-max theorem. Along the way we prove several results about sparse representations and convex programming that were known folklore, but of which we could find no proof.

연구 동기 및 목표

• 입력 요소의 $\ell^p$ 노름을 최소화하여 Moore-Penrose 역행렬의 계산 효율적인 대안을 개발하며, 특히 희박성을 위해 $p=1$ 에 중점을 둔다.
• 나쁜 조건 수를 보이는 단순한 $\ell^0$-기반 접근 방식을 피하면서도 양호한 최소 제곱 성능을 유지하는 희박한 일반화 역행렬을 구성하는 데 도전한다.
• $1 \leq p \leq 2$ 조건 하에서 $\ell^p$-최소화 일반화 역행렬의 유일성, 희박성, 안정성에 대한 이론적 보장을 수립한다.
• 볼록 분석과 볼록 가우시안 최소-최대 정리를 사용하여 프로베니우스 노름의 $\ell^p$-최소화 역행렬에 대한 유한 크기 농도 경계를 증명한다.

제안 방법

• 희소 역행렬을 볼록 최적화 문제의 해로 정의한다: $\mathsf{spinv}(\mathbf{A}) = \arg\min_{\mathbf{X} \in \mathcal{G}(\mathbf{A})} \|\mathrm{vec}(\mathbf{X})\|_1$ 로 하여 계산 가능성을 확보한다.
• 특히 볼록 가우시안 최소-최대 정리를 포함한 볼록 분석 및 난수 행렬 이론의 도구를 적용하여 유한 표본 농도 경계를 유도한다.
• 일반적으로 $\ell^1$-최소화 역행렬이 유일하며, 전체 열 랭크를 가진 거의 모든 행렬 $\mathbf{A}$ 에서 최적의 희박성을 달성함을 증명한다.
• 유일성의 문제를 다루기 위해 $\ell^1$-최소화 문제의 유계된 리라크스를 사용하여 확률적 안정성 결과를 도출한다.
• 일반화 역행렬 맥락에서 NP-난이도의 $\ell^0$-최소화 문제에 대한 볼록 프록시로 $\ell^1$-노름 최소화가 기능함을 확립한다.
• 난수 행렬 집합 하에서 볼록 집합으로부터의 해의 거리 분석을 통해 $\ell^p$-최소화 역행렬의 프로베니우스 노름에 대한 농도 경계를 도출한다.

실험 결과

연구 질문

• RQ1 일반적으로 $\ell^1$-최소화 일반화 역행렬은 유일하며, 거의 모든 행렬에서 최적의 희박성을 달성하는가?
• RQ2 $\ell^1$-최소화 역행렬이 유한 표본 노이즈 하에서 안정적이며, 프로베니우스 노름에 대한 농도 경계를 보일 수 있는가?
• RQ3 $\ell^1$-최소화 역행렬은 최소 제곱 성능과 계산 효율성 측면에서 Moore-Penrose 역행렬과 어떻게 비교되는가?
• RQ4 일반화 역행렬 맥락에서 $\ell^1$-최소화와 NP-난이도의 $\ell^0$-최소화 간의 관계는 무엇인가?
• RQ5 $\ell^1$-최소화 역행렬이 유계 최적화 문제의 해와 일치하는 조건은 무엇인가?

주요 결과

• $\ell^1$-최소화 일반화 역행렬은 일반적으로 유일하며, 전체 열 랭크를 가진 거의 모든 행렬 $\mathbf{A}$ 에서 최적의 희박성을 달성한다.
• $\ell^1$ 최소화를 통한 희소 역행렬은 NP-난이도의 $\ell^0$-최소화 문제에 대한 볼록 프록시이며, 일반적으로 가장 희박한 해를 제공한다.
• $1 \leq p \leq 2$ 조건 하에서 $\ell^p$-최소화 역행렬의 프로베니우스 노름에 대한 유한 크기 농도 경계가 확립되어 노이즈에 대한 안정성을 보장한다.
• $\ell^1$-최소화 역행렬의 프로베니우스 노름은 높은 확률로 기대값 주변에 집중되며, 이는 경계 $\mathbb{P}[\|\tilde{\mathbf{x}}_K \neq \tilde{\mathbf{x}}] \leq 4\zeta(n, \omega(\epsilon)/2)$ 로 정량화된다.
• 증명은 볼록 가우시안 최소-최대 정리에 기반하며, $\ell^1$-최소화 역행렬이 거의 최적의 최소 제곱 성능를 유지함을 보여준다.
• $\ell^1$-최소화 역행렬이 강건함을 입증하였으며, 특정 조건 하에서 유계 문제의 해 집합이 비유계 문제의 해 집합과 일치하여 안정성을 보장한다.