[논문 리뷰] A Perturbation Inequality for the Schatten-$p$ Quasi-Norm and Its Applications to Low-Rank Matrix Recovery

Man–Chung Yue, Anthony Man–Cho So|arXiv (Cornell University)|2012. 09. 03.

Sparse and Compressive Sensing Techniques참고 문헌 31인용 수 4

한 줄 요약

이 논문은 슈바른 $p$-준노름에 대한 기본적인 변화 불등식을 수립하여, 두 행렬의 특이값의 $p$-제곱의 절댓값 차이의 합이 그들의 차이 행렬의 특이값의 $p$-제곱에 대한 상한을 갖는다는 것을 증명한다. 이 결과는 슈바른 $p$-준노름 히وري스틱을 통한 저질수 행렬 복원에 대한 오랫동안 추측되어 온 복원 조건을 확인함으로써, 그 성능에 대한 엄밀한 이론적 분석을 가능하게 하며, 희소 벡터 복원에서의 기법을 저질수 행렬 설정으로 확장한다.

ABSTRACT

In this paper, we establish the following perturbation result concerning the singular values of a matrix: Let $A,B \in \mathbb{R}^{m imes n}$ be given matrices, and let $f:\mathbb{R}_+ ightarrow\mathbb{R}_+$ be a concave function satisfying $f(0)=0$. Then, we have $$ \sum_{i=1}^{\min\{m,n\}} \big| f(σ_i(A)) - f(σ_i(B)) \big| \le \sum_{i=1}^{\min\{m,n\}} f(σ_i(A-B)), $$ where $σ_i(\cdot)$ denotes the $i$--th largest singular value of a matrix. This answers an open question that is of interest to both the compressive sensing and linear algebra communities. In particular, by taking $f(\cdot)=(\cdot)^p$ for any $p \in (0,1]$, we obtain a perturbation inequality for the so--called Schatten $p$--quasi--norm, which allows us to confirm the validity of a number of previously conjectured conditions for the recovery of low--rank matrices via the popular Schatten $p$--quasi--norm heuristic. We believe that our result will find further applications, especially in the study of low--rank matrix recovery.

연구 동기 및 목표

• 오목 함수에 대한 특이값 변화 불등식의 타당성에 관해 행렬 해석학과 압축 감지 분야에서 오랫동안 남아있던 열린 문제를 해결하기 위해.
• 특히 $p \in (0,1)$인 경우에 대해 슈바른 $p$-준노름 히وري스틱의 이론적 기초를 확립하기 위해.
• 이전에 추측된 슈바른 $p$-준노름 최소화 문제에 대한 영공간 조건과 제한 이소메트리 기반 복원 조건을 확인하기 위해.
• 새로운 특이값 불등식을 통해 $\ell_p$-최소화 기법을 희소 복원에서 행렬 설정으로 확장하기 위해.
• 저질수 행렬 복원 알고리즘의 성능과 내성에 분석하기 위한 엄밀한 수학적 도구를 제공하기 위해.

제안 방법

• 모든 $f(0) = 0$인 오목 함수 $f$에 대해 일반적인 변화 불등식을 유도하여, $\sum_i |f(\sigma_i(A)) - f(\sigma_i(B))| \leq \sum_i f(\sigma_i(A - B))$ 를 증명한다.
• 이를 $f(x) = x^p$ ($p \in (0,1]$)에 적용하여 슈바른 $p$-준노름에 대한 변화 불등식을 도출한다.
• 이 불등식을 이용해 저질수 행렬의 정확한 복원을 위한 필수 및 필요조건 영공간 조건을 수립한다.
• 결과를 활용해 제한 이소메트리 및 제한 $p$-이소메트리 성질 기반 복원 조건을 유도한다.
• 기존의 희소 복원 이론에서 알려진 결과들을 활용하여 $\ell_p$-기반 복원 이론을 행렬 설정으로 이전한다.
• 주요 불등식과 그 결과를 증명하기 위해 행렬 이론, 특이값 분해, 볼록 해석학 도구를 활용한다.

실험 결과

연구 질문

• RQ1 모든 $A, B \in \mathbb{R}^{m \times n}$ 및 $p \in (0,1)$에 대해 $\sum_i |\sigma_i^p(A) - \sigma_i^p(B)| \leq \sum_i \sigma_i^p(A - B)$ 불등식이 성립하는가?
• RQ2 이 불등식을 이용해 슈바른 $p$-준노름 최소화를 통한 저질수 행렬의 정확한 복원을 위한 충분한 조건을 도출할 수 있는가?
• RQ3 이 불등식을 통해 희소 복원에서의 $\ell_p$-최소화 복원 이론을 어느 정도 행렬 설정으로 일반화할 수 있는가?
• RQ4 이 불등식은 저질수 행렬 복원에서 제한 이소메트리 및 영공간 성질에 어떤 영향을 미치는가?
• RQ5 이 결과는 1번 추측에서 제안한 특이값의 부분합으로 일반화될 수 있는가?

주요 결과

• 논문은 모든 오목 함수 $f$에 대해 $f(0) = 0$을 만족할 때 $\sum_i |f(\sigma_i(A)) - f(\sigma_i(B))| \leq \sum_i f(\sigma_i(A - B))$ 를 증명하여, 행렬 해석학 분야에서 오랫동안 남아있던 열린 문제를 해결한다.
• 특히 $f(x) = x^p$로 놓을 경우, 저질수 행렬 복원에서 핵심적인 추측이 확인된 슈바른 $p$-준노름에 대한 유효한 변화 불등식을 수립한다.
• 이 불등식은 슈바른 $p$-준노름 히وري스틱을 사용한 저질수 행렬의 정확한 복원을 위한 필요 및 충분 조건 영공간 조건을 도출하는 데 기여한다.
• 논문은 두 가지 새로운 복원 조건을 수립한다: 하나는 상수 $\alpha_{2k}$를 갖는 제한 이소메트리 기반이고, 다른 하나는 상수 $\beta_{p,ak}$를 갖는 제한 $p$-이소메트리 기반이며, 모두 명시적인 매개변수 제약 조건 하에 성립한다.
• $p < 1.0873 \times (1 - \alpha_{2k})$ 이면, $\mathcal{A}$ 가 순서 $2k$의 제한 이소메트리 성질을 만족할 경우 정확한 복원이 보장된다.
• $\beta_{p,ak} + b\beta_{p,(a+1)k} < b - 1$ 이고 $a = \lceil b^{2/(2-p)}k \rceil / k$ 이면, 제한 $p$-이소메트리 조건 하에서 정확한 복원이 성립한다.