[논문 리뷰] Bounds on restricted isometry constants of random matrices

Mihailo Stojnic|arXiv (Cornell University)|2013. 06. 17.

Random Matrices and Applications참고 문헌 35인용 수 3

한 줄 요약

이 논문은 이전 연구에서 제안된 극단적 고유값 추정 및 최적화 기반 리프팅 기법을 활용하여, 특히 하한 RIC을 중심으로 랜덤 행렬의 제한 이sovolete 상수(RICs)를 경계하는 새로운 분석 프레임워크를 제시한다. 기존의 유니언 바운딩 및 尾尾 추정 기법보다 더 날카운 경계를 달성하며, 하한 이sovolete 상수에 특히 효과적이다. 고차원 영역에서의 점근적 분석과 수치 최적화를 통해 결과가 검증되었다.

ABSTRACT

In this paper we look at isometry properties of random matrices. During the last decade these properties gained a lot attention in a field called compressed sensing in first place due to their initial use in \cite{CRT,CT}. Namely, in \cite{CRT,CT} these quantities were used as a critical tool in providing a rigorous analysis of $\ell_1$ optimization's ability to solve an under-determined system of linear equations with sparse solutions. In such a framework a particular type of isometry, called restricted isometry, plays a key role. One then typically introduces a couple of quantities, called upper and lower restricted isometry constants to characterize the isometry properties of random matrices. Those constants are then usually viewed as mathematical objects of interest and their a precise characterization is desirable. The first estimates of these quantities within compressed sensing were given in \cite{CRT,CT}. As the need for precisely estimating them grew further a finer improvements of these initial estimates were obtained in e.g. \cite{BCTsharp09,BT10}. These are typically obtained through a combination of union-bounding strategy and powerful tail estimates of extreme eigenvalues of Wishart (Gaussian) matrices (see, e.g. \cite{Edelman88}). In this paper we attempt to circumvent such an approach and provide an alternative way to obtain similar estimates.

연구 동기 및 목표

• 기존의 표준 유니언 바운딩 및 尾尾 추정 기법에 의존하지 않고, 랜덤 행렬의 제한 이sovolete 상수(RICs)를 추정하는 새로운 방법을 개발하는 것.
• ‘1-최소화를 통한 $β$-희박성 $α$-과소정의 시스템에서 정확한 복원을 보장하기 위해 핵심적인 역할을 하는 하한 RIC 경계의 정확도를 향상시키는 것.
• 점근적 영역에서 $n \to \infty$, $k = \beta n$, $m = \alpha n$ 이면서 $\beta < \alpha/2$ 인 조건에서 기대하나 하한 RIC의 더 날카운 추정치를 제공하는 것.
• 수치 최적화 및 기존 경계와의 비교를 통해 제안된 방법을 검증하는 것. 특히 $\beta/\alpha$ 가 낮은 영역에서의 성능을 중점적으로 평가하는 것.

제안 방법

• 이전 연구 [35, 34]의 결과를 기반으로 한 리프팅 기법을 활용하여 최소 이sovolete 상수 $\xi_{\text{lric}}(\beta,\alpha)$ 에 대한 하한 경계를 강화한다.
• 하한 RIC을 추정하기 위해 파ameter $c_3^{(s)}$ 를 최적화하여 하한 경계를 최대화하는 제약 조건이 있는 최적화 문제를 설정한다.
• 모든 $k$-희박한 부분집합에 대한 유니언 바운딩을 피하기 위해 연속적 근사 및 변분 원리를 활용하여 희박한 벡터에 대한 최소 특이값을 경계한다.
• 이 방법은 단위 노름을 가진 열을 가진 i.i.d. 가우시안 랜덤 행렬에 적용되며, $n \to \infty$ 에서 점근적 경계를 유도한다. 여기서 $\alpha = m/n$, $\beta = k/n$ 이다.
• 최적화는 수치적으로 수행되며, 다양한 $\alpha$ 및 $\beta/\alpha$ 값에 대해 수치 결과가 표 9에 보고되었다. 이는 기준 추정치 대비 향상된 하한 경계를 보여준다.
• 이 프레임워크는 이전 연구 [35] 에서 논의된 바와 같이 가우시안 이외의 다른 랜덤 행렬 모델로도 일반화 가능하다.

실험 결과

연구 질문

• RQ1 기존의 표준 유니언 바운딩 및 尾尾 추정 기법으로부터 도출 가능한 것보다 더 날카운 하한 제한 이sovolete 상수 $\xi_{\text{lric}}(\beta,\alpha)$ 의 경계를 유도할 수 있는가?
• RQ2 낮은 $\beta/\alpha$ 영역에서 제안된 리프팅 기반 최적화 전략은 $\xi_{\text{lric}}$ 의 추정에 어떻게 향상되는가?
• RQ3 최적화된 파ameter $c_3^{(s)}$ 는 $c_3^{(s)} \to 0$ 의 극한 대비 하한 경계를 얼마나 향상시키는가?
• RQ4 점근적 $n \to \infty$ 영역에서 제안된 경계는 진정한 기대값 $\mathbb{E}[\xi_{\text{lric}}]/\sqrt{m}$ 과 얼마나 가까운가?
• RQ5 이 방법은 유사한 성능을 보이는 비가우시안 랜덤 행렬 모델로도 확장 가능한가?

주요 결과

• $\beta/\alpha = 0.05$ 인 경우, 최적화된 리프팅 하한 경계 $\xi_{\text{lric}}^{(l,lift)}$ 는 $\alpha = 0.9$ 에서 0.5278 에 도달하며, $c_3^{(s)} \to 0$ 극한의 0.4631 대비 뚜렷한 향상이 있다.
• $\beta/\alpha = 0.1$ 일 때, 리프팅 경계는 기준치 0.3239 에서 $\alpha = 0.9$ 에서 0.3969 로 증가하여 상당한 향상이 나타난다.
• $\beta/\alpha = 0.3$ 일 때, 리프팅 경계는 $\alpha = 0.9$ 에서 0.1599 에 도달하며, $c_3^{(s)} \to 0$ 극한의 0.0877 에 비해 강력한 향상이 있다.
• $\beta/\alpha = 0.5$ 일 때, 리프팅 경계는 양수인 0.0590 (at $\alpha = 0.9$) 를 유지하지만, $c_3^{(s)} \to 0$ 극한은 음수인 (-0.002) 가 되어, 높은 희박성 영역에서의 방법의 강건성을 보여준다.
• 결과는 제안된 방법이 진정한 점근적 $\mathbb{E}[\xi_{\text{lric}}]/\sqrt{m}$ 과 가깝게 수렴할 가능성이 높으며, 특히 $\beta/\alpha$ 가 낮은 영역에서 그러하다.
• 기존 방법에 비해 하한 RIC 추정에서 뛰어난 성능을 보이며, 특히 기존 방법이 실패하는 희박성 영역에서의 향상이 가장 두드러진다.