[논문 리뷰] On consistency and sparsity for sliced inverse regression in high dimensions

Qian Lin, Zhigen Zhao외 1명|arXiv (Cornell University)|2015. 07. 14.

Statistical Methods and Inference참고 문헌 26인용 수 16

한 줄 요약

이 논문은 고차원 설정에서 Sliced Inverse Regression(SIR)의 단계 전이 행동을 규명하며, SIR가 점점 미치는 비율 ρ = lim p/n = 0일 때에만 일致함을 증명한다. p > n일 때의 불일치 문제를 해결하기 위해, 단변량 필터링과 SIR를 조합한 대각 임계값 SIR(DT-SIR) 알고리즘을 제안하여 공분산 행렬과 방향 적재 벡터에 대한 희소성 가정 하에 차원 감소 공간의 일관된 추정을 달성한다.

ABSTRACT

We provide here a framework to analyze the phase transition phenomenon of slice inverse regression (SIR), a supervised dimension reduction technique introduced by \cite{Li:1991}. Under mild conditions, the asymptotic ratio $ρ= \lim p/n$ is the phase transition parameter and the SIR estimator is consistent if and only if $ρ= 0$. When dimension $p$ is greater than $n$, we propose a diagonal thresholding screening SIR (DT-SIR) algorithm. This method provides us with an estimate of the eigen-space of the covariance matrix of the conditional expectation $var(\mathbf{E}[\boldsymbol{x}|y])$. The desired dimension reduction space is then obtained by multiplying the inverse of the covariance matrix on the eigen-space. Under certain sparsity assumptions on both the covariance matrix of predictors and the loadings of the directions, we prove the consistency of DT-SIR in estimating the dimension reduction space in high dimensional data analysis. Extensive numerical experiments demonstrate superior performances of the proposed method in comparison to its competitors.

연구 동기 및 목표

• 예측 변수 수 p가 표본 크기 n과 함께 증가할 때 Sliced Inverse Regression(SIR)의 이론적 한계를 이해하기 위해.
• 특히 일관성 측면에서 고차원 영역(p > n)에서 SIR가 실패하는 조건을 규명하기 위해.
• 초고차원 데이터에 대해 일관되고 희소적이며 계산적으로 실현 가능한 SIR의 확장형을 개발하기 위해.
• 예측 변수 공분산과 중심 공간의 적재 벡터에 대한 희소성 가정 하에 제안된 DT-SIR 방법의 이론적 보장을 수립하기 위해.

제안 방법

• 단일 변수 통계량 $\text{var}_H(\boldsymbol{x}(k))$를 기반으로 활성 예측 변수를 식별하기 위한 대각 임계값 필터링 절차를 제안하며, 이는 $\text{var}(\mathbb{E}[\boldsymbol{x}|y])$의 대각 성분을 추정한다.
• 선택된 예측 변수 집합(순위가 $\text{var}_H(\boldsymbol{x}(k))$에 따라 정렬됨)에 대해서만 SIR를 적용하여 추정 이전에 차원을 감소시킨다.
• 중앙 공간을 $\widehat{\boldsymbol{\Sigma}}_{\boldsymbol{x}}^{-1} \cdot \text{col}(\widehat{\boldsymbol{V}}_H)$의 열공간으로 추정하며, 여기서 $\widehat{\boldsymbol{V}}_H$는 조건부 기대값의 공분산의 표본 추정치이다.
• 임계 통계량의 尾확률을 유도하기 위해 랜덤 행렬 이론과 농도 불등식을 활용하여 베타 분포 변수의 순서통계량에 대한 꼬리 경계를 유도한다.
• 극단적 순서통계량 분석에서 이항 계수와 꼬리 확률을 유 bounds하기 위해 스타링의 근사법과 테일러 전개를 활용한다.
• 정밀도 행렬 $\boldsymbol{\Sigma}_{\boldsymbol{x}}^{-1}$과 중심 공간의 적재 벡터에 대한 희소성 가정 하에 DT-SIR의 일관성을 확립한다.

실험 결과

연구 질문

• RQ1 SIR가 고차원 설정에서 언제 불일치하게 되는가? 즉, asymptotic ratio ρ = lim p/n 가 얼마일 때인가?
• RQ2 적절한 구조적 가정 하에 p > n 인 경우에도 일관된 SIR 추정량을 구성할 수 있는가?
• RQ3 제안된 대각 임계값 필터링 절차가 고차원 데이터에서 진정한 차원 감소 공간을 효과적으로 회복하는가?
• RQ4 예측 변수 공분산과 방향 적재 벡터에 대한 희소성 가정이 SIR 추정량의 일관성에 어떤 영향을 미치는가?
• RQ5 PCA와 유사한 SIR의 이론적 단계 전이 행동은 무엇이며, 이를 엄밀하게 어떻게 규명할 수 있는가?

주요 결과

• SIR는 유일하게 asymptotic ratio ρ = lim p/n = 0일 때 일관되며, ρ = 0에서 날카로운 단계 전이가 존재함을 규명한다.
• p > n일 경우, p/n의 발산으로 인해 표준 SIR 추정량은 중심 공간을 일관되게 추정하지 못한다.
• 제안된 DT-SIR 방법은 정밀도 행렬과 방향 적재 벡터에 대한 희소성 가정 하에 차원 감소 공간의 일관된 추정을 달성한다.
• 대각 필터링 단계는 $\text{var}_H(\boldsymbol{x}(k))$를 통한 순위 매기기를 통해 가장 정보가 많은 예측 변수를 효과적으로 선택한다.
• 이론적 분석 결과, 순서통계량의 이탈 확률이 지수적으로 감소함을 보여, 필터링 단계의 일관성을 뒷받침한다.
• 수치 실험을 통해 DT-SIR가 기존의 SDR 방법들에 비해 고차원 설정에서 뛰어난 성능을 보임을 확인한다.