[논문 리뷰] Sparse covariance thresholding for high-dimensional variable selection

X. Jessie Jeng And Z. John Daye|arXiv (Cornell University)|2010. 06. 06.

Sparse and Compressive Sensing Techniques인용 수 3

한 줄 요약

이 논문은 인구 공분산 행렬의 희소성 특성을 활용하여 고차원 회귀 성능을 향상시키는 새로운 변수 선택 방법인 공분산 임계값을 적용한 라소를 제안한다. 표본 공분산 행렬을 노이즈와 변동성을 줄이기 위해 임계값 처리함으로써, 특히 전통적인 라소가 랭크 결함과 불안정한 표본 공분산으로 인해 실패하는 큰 p, 작은 n 상황에서 랜덤 설계 설정 하에서 변수 선택의 일致성을 향상시킨다.

ABSTRACT

In high-dimensions, many variable selection methods, such as the lasso, are often limited by excessive variability and rank deficiency of the sample covariance matrix. Covariance sparsity is a natural phenomenon in high-dimensional applications, such as microarray analysis, image processing, etc., in which a large number of predictors are independent or weakly correlated. In this paper, we propose the covariance-thresholded lasso, a new class of regression methods that can utilize covariance sparsity to improve variable selection. We establish theoretical results, under the random design setting, that relate covariance sparsity to variable selection. Real-data and simulation examples indicate that our method can be useful in improving variable selection performances.

연구 동기 및 목표

• 라소의 고차원 회귀에서의 한계, 특히 p > n 이며 표본 공분산 행렬이 랭크 결함이 있고 매우 변동성이 클 경우를 해결하기 위해.
• 유전자 마이크로어레이 분석과 같은 응용 분야에서 흔히 나타나는, 많은 예측 변수들이 상관관계가 없거나 약한 상관관계를 가지는 인구 공분산 행렬의 자연스러운 희소성을 활용하기 위해.
• 라소 정규화를 적용하기 이전에 표본 공분산 행렬을 임계값 처리하여 변수 선택 일치성을 향상시키는 새로운 회귀 방법을 개발하기 위해.
• 랜덤 설계 설정 하에서 이론적으로 일치성을 확립하여, 공분산의 희소성이 진짜 변수와 관련 없는 변수를 더 잘 분리할 수 있도록 하는 것을 목표로 한다.
• 시뮬레이션과 실제 데이터를 통해 제안된 방법이 표준 라소보다 변수 선택 정확도와 안정성에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 표본 공분산 행렬을 노이즈를 줄이고 변동성을 감소시키기 위해 데이터 기반의 임계값 $\nu = C\sqrt{\log(p-s)}/\sqrt{n}$ 를 사용해 작은 비대각선 요소를 0으로 설정함으로써, 임계값 처리된 표본 공분산 행렬 $\hat{\mathbf{\Sigma}}_{\nu}$ 를 도입한다.
• 공분산 임계값을 적용한 라소는 양수 및 음수 부분 계수($\beta^+$, $\beta^-$)를 사용한 제약 최적화 문제로 공식화되며, 목표 함수는 임계값 처리된 공분산 행렬과 라소 유형의 $\ell_1$ 펜alties를 포함한다.
• 일阶 최적성 조건을 유도하고 이를 해를 특성화하는 데 사용하여, 응답 변수와의 상관계수가 임계값 이하일 경우 상관계수가 작은 변수들이 제외됨을 보장한다.
• 임계값 처리로 진짜 변수와 관련 없는 변수 간의 상호 연결성이 감소함에 따라, 표준 라소보다 더 신뢰성 있게 irrepresentable 조건을 만족함으로써 변수 선택 일치성을 보장한다.
• 일阶 조건에 기반한 알고리즘을 유도하여, LARS 알고리즘과 유사하게 조각별 선형 해를 효율적으로 계산한다.
• 이론적 분석은 농도 불등식과 표본 공분산 행렬의 최대 대각선 및 비대각선 요소에 대한 고확률 경계를 활용하여 추정 오차를 통제한다.

실험 결과

연구 질문

• RQ1 고차원 데이터에서의 공분산 희소성을 활용하여, 큰 p, 작은 n 조건에서 라소의 변수 선택 성능을 향상시킬 수 있는가?
• RQ2 표본 공분산 행렬을 임계값 처리하면 추정 변동성이 감소하고 변수 선택의 일치성이 향상되는가?
• RQ3 랜덤 설계 설정 하에서 공분산 임계값을 적용한 라소가 어떤 조건에서 변수 선택 일치성을 달성하는가?
• RQ4 시뮬레이션과 실제 데이터에서 표준 라소와 비교해 이 방법의 선택 정확도와 안정성은 어떻게 되는가?
• RQ5 인구 공분산 행렬의 희소성과 진짜 변수를 일관되게 선택할 수 있는 능력 사이의 이론적 관계는 무엇인가?

주요 결과

• 인구 공분산 행렬이 희소하고, 임계값 처리 후 irrepresentable 조건이 만족될 경우, 공분산 임계값을 적용한 라소는 랜덤 설계 설정 하에서 변수 선택 일치성을 달성한다.
• 이 방법은 표본 공분산 행렬의 변동성을 감소시켜, p > n 일 때 랭크 결함과 불안정성 문제로 곤란을 겪는 표준 라소의 문제를 완화시킨다.
• 이론적 분석 결과, 반응 벡터와 표본 공분산 행렬의 추정 오차는 높은 확률로 유계이며, $\|n^{-1}\mathbf{X}_S^T\epsilon\|_\infty = O_p(\sqrt{\log s}/\sqrt{n})$ 및 $\|n^{-1}\mathbf{X}_C^T\epsilon\|_\infty = O_p(\sqrt{\log(p-s)}/\sqrt{n})$ 로 표현된다.
• 임계값 처리 단계는 진짜 변수와 관련 없는 변수 간의 효과적 상호 연결성(표본 irrepresentable 지수로 측정됨)을 감소시켜, irrepresentable 조건가 성립할 가능성을 높인다.
• 시뮬레이션과 실제 데이터 예제를 통해, 이 방법이 표준 라소보다 고차원 설정에서 공분산 희소성 구조를 가진 경우 변수 선택 성능을 향상시킴을 입증한다.
• 임계값 처리 파라미터 $\nu$ 의 선택에 대해 이 방법이 강건하며, $\sqrt{\log(p-s)}/\sqrt{n}$ 과 적절한 비율으로 스케일링된 $\nu$ 를 사용할 경우 일치성이 유지됨을 보였다.