[논문 리뷰] Optimality of Graphlet Screening in High Dimensional Variable Selection

Jiashun Jin, Cun‐Hui Zhang외 1명|arXiv (Cornell University)|2012. 04. 29.

Sparse and Compressive Sensing Techniques참고 문헌 46인용 수 42

한 줄 요약

이 논문은 희귀하고 약한 신호 모델 하에서 고차원 변수 선택을 위한 이중단계 스크리닝 및 클리닝 방법인 Graphlet Screening(GS)을 제안한다. 강한 의존성의 그래프(GOSD)를 활용하여 희박하고 분리된 그래프릿을 식별함으로써, GS는 해밍 거리 기준으로 최적의 최소최대 수렴 속도를 달성하며, 국소적인 그래픽 구조를 忽시하는 표준 L0/L1-정규화 방법보다 우수하다.

ABSTRACT

Consider a linear regression model where the design matrix X has n rows and p columns. We assume (a) p is much large than n, (b) the coefficient vector beta is sparse in the sense that only a small fraction of its coordinates is nonzero, and (c) the Gram matrix G = X'X is sparse in the sense that each row has relatively few large coordinates (diagonals of G are normalized to 1). The sparsity in G naturally induces the sparsity of the so-called graph of strong dependence (GOSD). We find an interesting interplay between the signal sparsity and the graph sparsity, which ensures that in a broad context, the set of true signals decompose into many different small-size components of GOSD, where different components are disconnected. We propose Graphlet Screening (GS) as a new approach to variable selection, which is a two-stage Screen and Clean method. The key methodological innovation of GS is to use GOSD to guide both the screening and cleaning. Compared to m-variate brute-forth screening that has a computational cost of p^m, the GS only has a computational cost of p (up to some multi-log(p) factors) in screening. We measure the performance of any variable selection procedure by the minimax Hamming distance. We show that in a very broad class of situations, GS achieves the optimal rate of convergence in terms of the Hamming distance. Somewhat surprisingly, the well-known procedures subset selection and the lasso are rate non-optimal, even in very simple settings and even when their tuning parameters are ideally set.

연구 동기 및 목표

• 희귀 및 약한 신호 환경에서 본질적으로 올바르고 계산적으로 효율적인 변수 선택 방법을 개발하기 위해.
• 정확한 지지 집합 복원보다도 약한 신호에 더 적합한 해밍 거리 기준에 기반한 변수 선택의 이론적 최적성(optimality)을 확립하기 위해.
• Graphlet Screening이 최소최대 해밍 거리 기준으로 최적의 수렴 속도를 달성함을 보여주기 위해.
• 표준 L0/L1-정규화 방법이 국소적인 그래픽 구조를 忽시하기 때문에, 조절 파rameter가 이상적일지라도 여전히 이 최적 속도를 달성하지 못함을 보여주기 위해.

제안 방법

• 순차 카이제곱 검정을 사용하여 GOSD의 부분 그래프를 스크리닝하는 이중단계 스크리닝 및 클리닝 절차를 제안한다.
• 희박한 그람 행렬 G = X'X로부터 유도된 GOSD를 사용하여 스크리닝 및 클리닝 단계를 모두 안내한다.
• 각 식별된 그래프릿 내에서 추정치를 정밀화하기 위해 페널라이즈드 최대우도추정(MLE)을 클리닝 단계에 적용한다.
• 추정된 계수 벡터와 진짜 계수 벡터의 부호 벡터 간의 해밍 거리 손실 함수를 사용하여 성능을 측정한다.
• 진짜 신호 지지 집합이 GOSD에서 작은, 분리된 그래프릿으로 분해됨을 이용하여 국소적 추론을 가능하게 한다.
• 이론적 분석은 단계도 분석과 점근적 최소최대성에 기반하며, 주요 결과는 밀스 비율과 농도 불등식을 사용하여 유도된다.

실험 결과

연구 질문

• RQ1 희귀 및 약한 신호 모델 하에서 해밍 거리 기준으로 최적의 최소최대 수렴 속도를 달성할 수 있는 변수 선택 방법이 존재하는가?
• RQ2 표준 L0/L1-정규화 방법은 이상적인 조절 조건 하에서도 이 최적 속도를 달성하지 못하는 이유는 무엇인가?
• RQ3 설계 행렬의 국소적 그래픽 구조(GOSD를 통해 표현됨)는 어떻게 개선된 변수 선택을 가능하게 하는가?
• RQ4 희귀 및 약한 신호 환경에서 변수 선택의 최적 단계도는 무엇이며, 이를 달성할 수 있는가?
• RQ5 그래프 구조를 활용하는 이중단계 스크리닝 및 클리닝 절차는 전역 정규화 방법보다 우월한가?

주요 결과

• Graphlet Screening은 희귀 및 약한 신호 환경에서 해밍 거리 기준으로 최적의 최소최대 수렴 속도를 달성하며, 이는 이론적 최적성을 입증한다.
• 이 방법은 국소적인 그래픽 구조를 활용하지 않는 표준 L0/L1-정규화 기법보다 우수하며, 이상적인 조절 조건 하에서도 여전히 최적 속도를 달성하지 못한다.
• 정확한 지지 집합 복원보다 해밍 거리 손실이 약한 신호에 더 적합한 기준임을 입증하였으며, 이 경우 정확한 복원은 불가능하기 때문이다.
• 진짜 신호 지지 집합은 GOSD에서 자연스럽게 작은, 분리된 성분들(그래프릿)으로 분해되며, 이는 효율적이고 정확한 변수 선택을 가능하게 한다.
• 이론적 분석을 통해 Graphlet Screening이 변수 선택의 최적 단계도를 달성함을 확인하였으며, 이는 이 맥락에서 핵심 최적성 기준이다.
• 이 방법은 R 패키지 ScreenClean과 MATLAB에 구현되었으며, 고차원 점근적 조건 하에서 엄밀한 점근적 분석에 기반한 이론적 보장이 있다.