[논문 리뷰] The lower tail of random quadratic forms, with applications to ordinary least squares and restricted eigenvalue properties

Roberto I. Oliveira|arXiv (Cornell University)|2013. 12. 10.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 65

한 줄 요약

이 논문은 4차 모멘트 조건 하에서 무작위 이차형식의 하측 尾 꼬리에 대해 서브가우시안 농도를 확립하여, 고차원 통계에서 더 날카운 유한표본 경계를 가능하게 한다. 이 결과는 희소 복구에서 일반 최소제곱 추정 및 제한된 고유값 성질을 향상시키는 데 응용되며, 무거운 尾 꼬리 분포 조건 하에서도 성립한다.

ABSTRACT

Finite sample properties of random covariance-type matrices have been the subject of much research. In this paper we focus on the "lower tail" of such a matrix, and prove that it is subgaussian under a simple fourth moment assumption on the one-dimensional marginals of the random vectors. A similar result holds for more general sums of random positive semidefinite matrices, and the (relatively simple) proof uses a variant of the so-called PAC-Bayesian method for bounding empirical processes. We give two applications of the main result. In the first one we obtain a new finite-sample bound for ordinary least squares estimator in linear regression with random design. Our result is model-free, requires fairly weak moment assumptions and is almost optimal. Our second application is to bounding restricted eigenvalue constants of certain random ensembles with "heavy tails". These constants are important in the analysis of problems in Compressed Sensing and High Dimensional Statistics, where one recovers a sparse vector from a small umber of linear measurements. Our result implies that heavy tails still allow for the fast recovery rates found in efficient methods such as the LASSO and the Dantzig selector. Along the way we strengthen, with a fairly short argument, a recent result of Rudelson and Zhou on the restricted eigenvalue property.

연구 동기 및 목표

• 최소한의 모멘트 가정 하에서 무작위 공분산 행렬의 하측 꼬리에 대한 유한표본 농도 경계를 유도하는 것.
• 유한 모멘트만을 가정할 때 랜덤 디자인 회귀에서 일반 최소제곱 추정에 대한 유한표본 오차 경계를 향상시키는 것.
• 무거운 尾 꼬리 분포를 가진 무작위 집합에 대해 제한된 고유값 성질을 확립하여 압축 센싱에서 빠른 복구를 지원하는 것.
• 새로운 PAC-베이지안 접근을 통해 기존 제한된 고유값 결과를 강화하는 것.

제안 방법

• 독립 동일분포의 양의 준정의 무작위 행렬 합을 포함하는 경험 과정을 농도시키기 위해 PAC-베이지안 방법의 변종을 사용한다.
• 4차 모멘트 조건 하에서 이차형식의 하측 꼬리에 대해 서브가우시안 꼬리 경계를 확립한다: $ \sqrt{\mathbb{E}[(v^T X_1)^4]} \leq h \cdot v^T \Sigma v $.
• 비음수 무작위 변수 합의 하측 꼬리를 제어하기 위해 초과 마틴갈 방법과 지수 모멘트 경계를 사용한다.
• 모멘트에 대한 준동차 조건 하에서 무작위 행렬의 트레이스에 대한 일반 농도 부등식을 유도한다.
• 독립 복제를 통한 대칭화 기법을 사용하여 중심화된 증분의 모멘트 생성 함수를 농도시킨다.
• 옵셔널 스탑핑과 마르코프 부등식을 사용하여 이차형식의 하측 꼬리에 대한 고확률 경계를 유도한다.

실험 결과

연구 질문

• RQ1 일변량 마진에 대한 4차 모멘트 조건만을 가정할 때, 무작위 이차형식에 대해 서브가우시안 하측 꼬리 경계를 확립할 수 있는가?
• RQ2 유한 모멘트만을 가정할 때, 랜덤 디자인 회귀에서 일반 최소제곱 추정에 대해 어떤 유한표본 오차 경계를 도출할 수 있는가?
• RQ3 무거운 尾 꼬리 분포를 가진 무작위 집합에 대해 제한된 고유값 상수가 유계가 될 수 있으며, 이는 압축 센싱에서 빠른 복구 속도를 지원하는가?
• RQ4 PAC-베이지안 방법은 고차원 통계에서 경험 과정에 대해 더 날카운 농도 경계를 도출하기 위해 어떻게 적응시킬 수 있는가?
• RQ5 짧고 일반적인 증명을 통해 더 약한 모멘트 가정 하에서 제한된 고유값 성질을 강화할 수 있는가?

주요 결과

• 4차 모멘트 조건 하에서 무작위 이차형식의 하측 꼬리는 서브가우시안이다: $ \mathbb{P}(\forall v, \, v^T \widehat{\Sigma}_n v \geq (1-\varepsilon) v^T \Sigma v) \geq 1 - e^{-p} $ 이며, $ n = O(h^2 p / \varepsilon^2) $ 일 때 성립한다.
• 이 경계는 독립된 좌표에 대해 $ \varepsilon^{-2} $ 에서 최적임이 백-얀 정리에 의해 확인되었다.
• X와 Y의 두 번째 모멘트만이 유한할 때에도 새로운 유한표본 경계가 도출되었으며, 이는 이전 결과에서 무한 모멘트가 필요로 하는 것을 개선했다.
• 무거운 尾 꼬리 집합에 대해 제한된 고유값 상수가 봉인되었으며, LASSO와 Dantzig 선택기 모두 하중하중 꼬리 조건 하에서도 빠른 복구 속도를 달성함을 보장한다.
• 대칭화와 모멘트 생성 함수 기반의 증명을 통해 루드셀로프와 주오의 최근 결과를 짧은 증명으로 강화하였다.
• 주요 결과는 무거운 尾 꼬리 분포가 제한된 4차 모멘트 조건이 만족되면 고차원 선형 모델에서 효율적 복구를 방해하지 않는다는 것을 암시한다.