[논문 리뷰] Regularity Properties of High-dimensional Covariate Matrices ∗

Edgar Dobriban, Jianqing Fan|arXiv (Cornell University)|2013. 05. 22.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 4

한 줄 요약

이 논문은 고차원 공변량 행렬의 lq 민감도—일반적인 정규성 성질—가 정규 공분산 구조를 가진 모집단에서 설계 행렬을 샘플링할 경우 높은 확률로 성립함을 보여준다. 저자들은 이러한 조건을 검증하는 것이 NP-난해함을 증명하고, lq 민감도가 자연스러운 데이터 연산에서 유지됨을 보이며, 잡음 尾행동(유계, 서브-가우시안, 유한 모멘트)에 따라 샘플 크기 및 확률 경계를 유도한다.

ABSTRACT

Regularity properties such as the incoherence condition, the restricted isometry property, compatibility, restricted eigenvalue and lq sensitivity of covariate matrices play a pivotal role in high-dimensional regression and compressed sensing. Yet, like computing the spark of a matrix, we first show that it is NP-hard to check the conditions involving all submatrices of a given size. This motivates us to investigate what classes of design matrices sat- isfy these conditions. We demonstrate that the most general property, lq sensitivity, holds with high probability for covariate matrices sam- pled from populations with a suitably regular covariance matrix. The probability lower bound and sample size required depend on the tail be- havior of the random noise. We examine this for three important cases, bounded, sub-Gaussian, and finite moment random noises. We further show that lq sensitivity is preserved under natural opera- tions on the data. Our work is particularly important for many statisti- cal applications, in which the covariates are observational and correlated and can be thought of as fixed in advance. AMS 2000 subject classifications: Primary 62J05; secondary 68Q17, 62H12.

연구 동기 및 목표

• 고차원 공변량 행렬에서의 비정규성 조건(예: 비정합성, 제한된 등장성)을 검증하는 데 있어 계산 복잡도를 조사하는 것.
• 이러한 비정규성 성질이 높은 확률로 성립하는 데 있어 인구 분포에 대한 조건을 규명하는 것.
• lq 민감도—통합적인 비정규성 성질—가 정규 공분산 구조를 가진 모집단에서 무작위 설계 행렬에 대해 높은 확률로 성립함을 확립하는 것.
• lq 민감도가 자연스러운 데이터 변환 및 연산에서 어떻게 유지되는지 분석하는 것.
• 잡음 尾행동에 따라 샘플 크기 요구 조건 및 비정규성의 확률 하한을 명시적으로 제공하는 것.

제안 방법

• 주어진 크기의 모든 부분행렬을 포함하는 비정규성 조건을 검증하는 것이 NP-난해함을 증명하여 근본적인 계산 장벽을 확립하는 것.
• 비정합성, 제한된 등장성, 호환성, 제한된 고유값 조건을 포함하는 일반적인 비정규성 성질로 lq 민감도를 정의하는 것.
• 정규 공분산 행렬을 가진 모집단에서 무작위로 추출된 설계 행렬에 대해 lq 민감도가 성립할 확률을 분석하는 것.
• 잡음의 尾행동(유계, 서브-가우시안, 유한 모멘트)에 따라 lq 민감도가 성립할 확률에 대한 고확률 하한을 도출하는 것.
• 열 스케일링, 행 순열, 선형 변환과 같은 자연스러운 연산에서 lq 민감도가 유지됨을 보이는 것.
• 집중 부등식과 모멘트 경계를 사용하여 다양한 잡음 가정 하에서 고확률 비정규성에 필요한 샘플 크기를 정량화하는 것.

실험 결과

연구 질문

• RQ1 고차원 공변량 행렬에 대해 비정합성 또는 제한된 등장성과 같은 비정규성 조건을 검증하는 것은 계산적으로 가능할 수 있는가?
• RQ2 공변량에 대한 분포 가정은 무엇이어야 공변량의 lq 민감도가 높은 확률로 성립하는가?
• RQ3 잡음의 尾행동(유계, 서브-가우시안, 유한 모멘트)은 고확률 비정규성에 필요한 샘플 크기에 어떻게 영향을 미치는가?
• RQ4 비정규성 성질인 lq 민감도는 일반적인 데이터 전처리 연산에서 유지되는가?
• RQ5 lq 민감도는 고차원 회귀 및 압축 측정에서 기존 비정규성 조건을 통합하는 프레임워크로 기능할 수 있는가?

주요 결과

• 모든 부분행렬을 포함하는 비정규성 조건을 검증하는 것은 NP-난해하므로 근본적인 계산 비가능성을 시사한다.
• 정규 공분산 행렬을 가진 모집단에서 추출된 공변량 행렬에 대해 lq 민감도가 높은 확률로 성립한다.
• lq 민감도의 확률 하한 및 필요한 샘플 크기는 잡음 분포의 尾행동에 따라 결정되며 매우 중요하다.
• 유계 잡음의 경우 필요한 샘플 크기는 차원에 대해 로그 스케일링되지만, 서브-가우시안 및 유한 모멘트의 경우 더 강한 모멘트 가정이 필요하다.
• lq 민감도는 열 스케일링 및 행 순열과 같은 자연스러운 데이터 연산에서 유지된다.
• 결과는 고차원 회귀 및 압축 측정 방법의 타당성에 대한 이론적 기초를 제공하며, 관찰 연구에서 고정된 상관 공변량이 존재할 경우에도 적용 가능하다.