[논문 리뷰] Reconstruction from anisotropic random measurements

Mark Rudelson, Shuheng Zhou|arXiv (Cornell University)|2011. 06. 06.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 22

한 줄 요약

이 논문은 종속된 성분을 가진 랜덤 행렬—특히 서브가우시안 행과 균일하게 유계인 성분을 가진 행렬—에 대해 제한된 고유값 조건(Restricted Eigenvalue, RE)을 도입함으로써, 희소 지지에 의해 정의된 저차원 부분공간에서의 제한된 등장성 조건을 확인하는 데 기반한 축소 원칙을 제시한다. 주요 기여는 비등방성 랜덤 행렬의 넓은 클래스에서 RE 조건이 높은 확률로 성립함을 증명함으로써, 등방성 가정이 실패하는 경우에도 ℓ₁ 최소화를 통한 강건한 희소 복원이 가능하게 한다.

ABSTRACT

Random matrices are widely used in sparse recovery problems, and the relevant properties of matrices with i.i.d. entries are well understood. The current paper discusses the recently introduced Restricted Eigenvalue (RE) condition, which is among the most general assumptions on the matrix, guaranteeing recovery. We prove a reduction principle showing that the RE condition can be guaranteed by checking the restricted isometry on a certain family of low-dimensional subspaces. This principle allows us to establish the RE condition for several broad classes of random matrices with dependent entries, including random matrices with subgaussian rows and non-trivial covariance structure, as well as matrices with independent rows, and uniformly bounded entries.

연구 동기 및 목표

• 기존의 등방성 가정이 실패하는 경우에도 종속된 성분과 비등방성 구조를 가진 랜덤 행렬에 대해 희소 복원 보장을 확장한다.
• 고차원 희소 복원에서 ℓ₁ 최소화의 일반적이고 최소한의 조건으로서 제한된 고유값(RE) 조건을 설정한다.
• 희소 지지에 의해 정의된 저차원 부분공간에서의 제한된 등장성 조건을 확인하는 것으로 RE 조건을 검증하는 데 기반한 축소 원칙을 개발한다.
• 서브가우시안 랜덤 행렬에 대해 비자명한 공분산과 균일하게 유계인 성분을 가진 경우, RE 조건이 높은 확률로 성립함을 증명함으로써 통계학 및 신호 처리 분야에서의 적용 범위를 넓힌다.

제안 방법

• 축소 원칙을 도입: 희소 지지에 의해 정의된 저차원 부분공간의 집합에서 제한된 등장성 조건이 확인되면, RE 조건이 성립함을 보장한다.
• 메트릭 엔트로피와 커버링 수 추정을 사용하여 RE 조건과 관련된 라데마처 카오스 과정의 기대 최대값을 근사한다.
• 일반적인 체이닝과 가우시안 과정 기법을 적용하여 설계 행렬과 관련된 이차형식의 尾행동을 제어한다.
• 부피론적 및 메트릭 엔트로피 접근법을 사용하여 고차원 공간 내 유클리드 구의 합집합의 커버링 수를 추정한다.
• 비등방성 설계에서 RE 조건의 강도를 정량화하기 위해 최소 희소 특이값 ρ에 대한 확률적 경계를 유도한다.
• 루델슨과 버시닌(Rudelson and Vershynin, 2008)의 기법을 변형하여 랜덤 행렬의 비등방성 및 종속된 행의 구조를 다룰 수 있도록 한다.

실험 결과

연구 질문

• RQ1 종속된 성분과 비자명한 공분산 구조를 가진 랜덤 행렬에 대해 제한된 고유값 조건을 보장할 수 있는가?
• RQ2 전체 행렬이 아닌 저차원 부분공간에서의 제한된 등장성 조건을 확인하는 것으로 RE 조건을 검증할 수 있는가?
• RQ3 비등방성 랜덤 행렬에 대해 RE 조건이 높은 확률로 성립하기 위해 필요한 최소 표본 크기 n은 얼마인가?
• RQ4 최소 희소 특이값 ρ가 비등방성 설정에서 RE 조건의 타이트함에 어떤 영향을 미치는가?
• RQ5 RE 조건은 고차원 희소 복원에서 균일 불확실성 원리(UUP)를 어느 정도 일반화하는가?

주요 결과

• m-희소 벡터에 대해 n ≥ Cρ⁻¹m log(p/m) 를 만족할 경우, 서브가우시안 행과 비자명한 공분산을 가진 랜덤 행렬에서 RE 조건이 높은 확률로 성립한다.
• 축소 원칙을 통해 RE 조건은 O(p^m)개의 저차원 부분공간에서의 제한된 등장성 조건을 확인하는 것으로 검증 가능하므로 분석이 크게 단순화된다.
• 독립적이고 균일하게 유계인 성분을 가진 행렬의 경우, n ≳ m log p 를 만족할 경우 RE 조건이 높은 확률로 성립하며, 이는 등방성 가정 하에서 알려진 결과와 일치한다.
• 라데마처 카오스 과정의 기대 최대값에 대한 경계가 O(√(mQ² log n log p / ρ)) 로 스케일링됨을 보였다. 여기서 Q는 행 벡터의 노름에 대한 균일한 상한이다.
• 최소 희소 특이값 ρ에 대한 의존성이 필요함을, ρ = m/p 인 타이트한 예시를 통해 입증하였으며, 이 경우 n ≥ Cp log p 가 필요하다.
• 블록 대각 Walsh 행렬을 사용한 구성으로 하한선과 일치함을 확인하여 유도된 경계가 로그 인자 외에는 타이트함을 보였다.