[논문 리뷰] On the consistency theory of high dimensional variable screening

Xiangyu Wang, Chenlei Leng외 1명|arXiv (Cornell University)|2015. 02. 24.

Sparse and Compressive Sensing Techniques참고 문헌 15인용 수 4

한 줄 요약

이 논문은 제한된 대각 지배(RDD) 조건을 필수적이고 충분한 조건으로 도입함으로써 고차원 변수 걸러내기의 이론적 기반을 구축한다. 이 조건에 따라 SIS 및 HOLP와 같은 걸러내기 방법이 표본 크기 $ n = O((\rho s + \sigma/\tau)^2 \log p) $ 를 만족할 경우 높은 확률로 일致성을 확보함을 증명하며, 기존 방법들이 난수 설계 하에서 겪는 한계를 극복하는 통합된 프레임워크를 제공한다.

ABSTRACT

Variable screening is a fast dimension reduction technique for assisting high dimensional feature selection. As a preselection method, it selects a moderate size subset of candidate variables for further refining via feature selection to produce the final model. The performance of variable screening depends on both computational efficiency and the ability to dramatically reduce the number of variables without discarding the important ones. When the data dimension $p$ is substantially larger than the sample size $n$, variable screening becomes crucial as 1) Faster feature selection algorithms are needed; 2) Conditions guaranteeing selection consistency might fail to hold. This article studies a class of linear screening methods and establishes consistency theory for this special class. In particular, we prove the restricted diagonally dominant (RDD) condition is a necessary and sufficient condition for strong screening consistency. As concrete examples, we show two screening methods $SIS$ and $HOLP$ are both strong screening consistent (subject to additional constraints) with large probability if $n > O((ρs + σ/τ)^2\log p)$ under random designs. In addition, we relate the RDD condition to the irrepresentable condition, and highlight limitations of $SIS$.

연구 동기 및 목표

• 표본 수 $ p \gg n $ 인 고차원 변수 걸러내기의 일致한 이론적 프레임워크를 개발하는 것.
• 선형 걸러내기 방법에서 강한 걸러내기 일치성에 필요한 필수 조건과 충분 조건을 규명하는 것.
• 난수 설계 하에서 SIS 및 HOLP의 성능을 분석하고 표본 크기 요구 조건을 정량화하는 것.
• RDD 조건이 고차원 통계에서 기존의 비표준 조건(예: 비표준 조건 및 제한된 고유값 조건)과 어떻게 관련되어 있는지 규명하는 것.
• SIS의 강한 마진별 상관관계 가정을 완화함으로써 HOLP가 SIS의 핵심 한계를 어떻게 극복하는지 설명하는 것.

제안 방법

• 강한 걸러내기 일치성의 개념을 도입하고, 이를 위한 필수적이고 충분한 조건으로 제한된 대각 지배(RDD) 조건을 정의한다.
• 독립 동일분포인 서브가우시안 설계 하에서 랜덤 행렬 이론과 농도 부등식을 사용해 걸러내기 행렬의 이론적 경계를 유도한다.
• 합집합 경계와 尾부 경계(예: 가우시안 尾부 경계)를 적용하여 걸러내기 행렬의 비대각 및 대각 항을 제어한다.
• RDD 조건의 보조 행렬을 활용해 SIS와 같은 다양한 걸러내기 방법을 탄력적으로 수용할 수 있도록 한다. 특히 HOLP는 SIS를 초월하는 성능 향상을 가능하게 한다.
• 신호 다양성($ \rho $), 희박성($ s $), 신호 대 잡음 비율($ \sigma/\tau $)을 균형 있게 조절함으로써 확률적 추론을 통해 표본 크기 요구 조건을 설정한다.
• 이차 형식의 고확률 농도와 고유값 경계에 기반하여 RDD 조건이 극도로 높은 확률로 성립함을 보장한다.

실험 결과

연구 질문

• RQ1 선형 걸러내기 방법이 강한 걸러내기 일치성을 달성하기 위한 필수적이고 충분한 조건은 무엇인가?
• RQ2 RDD 조건은 고차원 통계에서 비표준 조건과 제한된 고유값 조건과 어떻게 관련되어 있는가?
• RQ3 난수 설계 하에서 SIS 및 HOLP가 어떤 표본 크기 조건을 만족할 경우 높은 확률로 걸러내기 일치성을 달성하는가?
• RQ4 왜 SIS는 약한 마진별 상관관계 조건에서 실패하는가? HOLP는 이러한 한계를 어떻게 극복하는가?
• RQ5 설계 행렬이 표준 조건을 위반할 경우 RDD 조건의 보조 행렬을 어떻게 선택하면 걸러내기 성능을 향상시킬 수 있는가?

주요 결과

• 제한된 대각 지배(RDD) 조건은 선형 걸러내기 방법에서 강한 걸러내기 일치성에 필수적이고 충분한 조건이다.
• SIS는 $ n = O((\rho s + \sigma/\tau)^2 \log p) $ 조건을 만족할 경우 높은 확률로 걸러내기 일치성을 달성하지만, 강한 마진별 신호 강도가 필요하다.
• HOLP는 동일한 표본 크기 조건 하에서 더 약한 가정 조건으로도 걸러내기 일치성을 달성할 수 있으며, 이는 그 유연한 보조 행렬 선택 덕분이다.
• RDD 조건은 비표준 조건을 일반화하며, 보조 행렬을 적절히 선택할 경우 비표준 조건이 실패하는 경우에도 성립할 수 있다.
• 표본 크기 요구 조건 $ n = O((\rho s + \sigma/\tau)^2 \log p) $ 는 고정 설계 하에서 라소의 부호 일치성 결과보다 더 엄격하다.
• 이론적 프레임워크는 HOLP의 계산 효율성($ O(n^2p) $)이 난수 설계 하에서도 강력한 이론적 일치 보장과 호환됨을 보여준다.