[논문 리뷰] Restricted Eigenvalue Conditions on Subgaussian Random Matrices

Shuheng Zhou|ArXiv.org|2009. 12. 21.

Topological and Geometric Data Analysis참고 문헌 19인용 수 64

한 줄 요약

이 논문은 독립적인 행을 가진 서브가우시안 랜덤 행렬이 일반적인 공분산 구조를 가질 때, 표본 크기가 특정 임계값을 초과하면 제한된 고유값(RE) 조건을 높은 확률로 만족함을 입증한다. 기하학적 함수해석학 도구를 활용하여 저자들은 이러한 행렬이 열들이 상관관계를 가질 수 있는 고차원 설정에서도 Lasso와 Dantzig 선택기의 일致성 추정을 가능하게 함을 보여준다.

ABSTRACT

It is natural to ask: what kinds of matrices satisfy the Restricted Eigenvalue (RE) condition? In this paper, we associate the RE condition (Bickel-Ritov-Tsybakov 09) with the complexity of a subset of the sphere in $\R^p$, where $p$ is the dimensionality of the data, and show that a class of random matrices with independent rows, but not necessarily independent columns, satisfy the RE condition, when the sample size is above a certain lower bound. Here we explicitly introduce an additional covariance structure to the class of random matrices that we have known by now that satisfy the Restricted Isometry Property as defined in Candes and Tao 05 (and hence the RE condition), in order to compose a broader class of random matrices for which the RE condition holds. In this case, tools from geometric functional analysis in characterizing the intrinsic low-dimensional structures associated with the RE condition has been crucial in analyzing the sample complexity and understanding its statistical implications for high dimensional data.

연구 동기 및 목표

• 서브가우시안 랜덤 행렬이 고차원 통계적 추정에 필수적인 조건인 제한된 고유값(RE) 조건을 만족할 수 있는 조건을 규명하는 것.
• i.i.d. 요소를 가진 행렬 외의 행렬 클래스를 일반적인 공분산 구조 Σ를 포함시켜 확장함으로써, RE 조건을 만족하는 행렬의 범위를 넓히는 것.
• 기하학적 함수해석학 도구를 사용하여 RE 조건의 표본 복잡도와 통계적 함의를 분석하는 것.
• 열들이 상관관계를 가질 수 있는 광범위한 랜덤 설계에 대해 RE 조건이 높은 확률로 성립함을 보여주는 것.
• 고차원 선형 모델에서 Lasso와 Dantzig 선택기의 성능에 대한 이론적 보장을 제공하는 것.

제안 방법

• 독립적인 행과 특정 공분산 구조 Σ를 가진 일반적인 랜덤 행렬의 클래스를 도입하며, 이는 열들 간의 의존성을 허용한다.
• 제한된 고유값 조건을, ||δ_{J₀^c}||₁ ≤ k₀||δ_{J₀}||₁ 를 만족하는 적합한 δ에 대해 ||Xδ||₂ / (√n ||δ_J₀||₂) 의 하한값으로 정의한다.
• Slepian의 보조정리와 Gordon의 가우시안 비교 부등식을 적용하여, 적합한 δ 집합 위에서 ||Xδ||₂ 의 기대 하한값과 상한값을 유계로 제한한다.
• 가우스 공간에서의 체적 집중 성질을 활용하여, 경험적 노름 ||Xδ||₂ 의 고확률적 편차 bound를 유도한다.
• 집합 E_s 내의 δ에 대해 |⟨h, Σ^{1/2}δ⟩| 의 기대 최대값을 활용하여, ||Xδ||₂ 가 평균으로부터의 편차를 제어한다.
• 적절한 표본 크기 조건 하에서, 모든 적합한 δ에 대해 (1−θ−o(1))||Σ^{1/2}δ||₂ ≤ ||Xδ||₂/√n ≤ (1+θ)||Σ^{1/2}δ||₂ 의 고확률적 bound를 도출한다.

실험 결과

연구 질문

• RQ1 열들이 상관관계를 가질 경우를 포함하여, 어떤 유형의 랜덤 행렬이 제한된 고유값(RE) 조건을 만족하는가?
• RQ2 일반적인 공분산 구조 Σ 가 서브가우시안 랜덤 행렬의 RE 조건 유효성에 어떤 영향을 미치는가?
• RQ3 고차원 설정에서 RE 조건이 높은 확률로 성립하기 위해 필요한 최소 표본 크기는 얼마인가?
• RQ4 Slepian의 보조정리와 체적 집중 성질과 같은 기하학적 함수해석학 도구가 RE 조건 분석에 어떻게 기여하는가?
• RQ5 RE 조건이 고차원 모델에서 Lasso와 Dantzig 선택기의 일관성 추정을 어느 정도 보장하는가?

주요 결과

• 독립적인 행과 일반적인 공분산 구조 Σ를 가진 서브가우시안 랜덤 행렬은 표본 크기 n 이 희소성 수준 s 와 차원 p 의 로그에 비례하는 임계값을 초과할 경우, 높은 확률로 제한된 고유값 조건을 만족한다.
• 표본 크기가 s log(p/s) 에 대해 충분히 크다면, 표본 크기가 충분히 클 경우, RE 조건은 확률 1−4/p^d 이상으로 성립한다. (d>0)
• 논문은 경험적 노름 ||Xδ||₂/√n 이 모든 적합한 δ에 대해 ||Σ^{1/2}δ||₂ 의 상수배로 일관되게 아래와 위로 유계로 제한될 때 RE 조건이 성립함을 입증한다.
• 분석 결과, 이전에 i.i.d. 또는 등방향 설계를 요구했던 결과들을 일반적인 공분산 구조 하에서도 안정적으로 확장함을 보여준다.
• ||Xδ||₂ 의 기대 하한값과 상한값에 대한 유도된 bound 는, 모든 s 희소 방향에 대해 균일하게 RE 조건이 성립함을 의미하며, 추정 오차의 균일 제어를 가능하게 한다.
• 결과적으로, Lasso와 Dantzig 선택기가 열들이 의존성을 가질 수 있는 경우에도, RE 조건 하에서 최적의 ℓ₂ 및 ℓ₁ 추정 오차 비율을 달성함을 확인한다.