[논문 리뷰] On the optimality of sliced inverse regression in high dimensions

Qian Lin, Xinran Li외 2명|arXiv (Cornell University)|2017. 01. 21.

Statistical Methods and Inference참고 문헌 11인용 수 10

한 줄 요약

이 논문은 고차원 다중 색인 모델에서 중심 부분공간을 추정하는 데 있어 최대위험 최적 속도를 확립한다. 이는 조각별 역행귀사법(SIR)을 사용할 때, 집계된 SIR 추정량이 $ d \wedge \left( \frac{sd + s\log(ep/s)}{n\lambda} \right) $ 의 속도를 달성하며, 이는 단일 색인 모델과 고정된 차원 $ d $ 및 신호 강도 $ \lambda $ 를 가진 다중 색인 모델에서 최적임을 보여준다. 결과는 희박성과 낮은 신호 강도 조건 하에서 SIR의 고차원 설정에서의 효과성을 이론적으로 뒷받침한다.

ABSTRACT

The central subspace of a pair of random variables $(y,x) \in \mathbb{R}^{p+1}$ is the minimal subspace $\mathcal{S}$ such that $y \perp \hspace{-2mm} \perp x\mid P_{\mathcal{S}}x$. In this paper, we consider the minimax rate of estimating the central space of the multiple index models $y=f(β_{1}^τx,β_{2}^τx,...,β_{d}^τx,ε)$ with at most $s$ active predictors where $x \sim N(0,I_{p})$. We first introduce a large class of models depending on the smallest non-zero eigenvalue $λ$ of $var(\mathbb{E}[x|y])$, over which we show that an aggregated estimator based on the SIR procedure converges at rate $d\wedge((sd+s\log(ep/s))/(nλ))$. We then show that this rate is optimal in two scenarios: the single index models; and the multiple index models with fixed central dimension $d$ and fixed $λ$. By assuming a technical conjecture, we can show that this rate is also optimal for multiple index models with bounded dimension of the central space. We believe that these (conditional) optimal rate results bring us meaningful insights of general SDR problems in high dimensions.

연구 동기 및 목표

• 고차원 다중 색인 모델에서 중심 부분공간을 추정하는 데 있어 최대위험 수렴 속도를 결정하는 것.
• 고차원 설정에서 $ p \gg n $ 일 때, 조각별 역행귀사법(SIR) 절차의 수렴 속도 최적성 평가.
• 특히 희박성과 유한한 신호 강도 조건 하에서 SIR가 최적 수렴 속도를 달성할 수 있는 조건을 확립하는 것.
• 고차원 설정에서 희박한 예측 변수를 가진 경우, 고정된 차원 점점 증가하는 점근적 이론에서 SIR의 이론적 이해를 확장하는 것.
• SIR와 선형 회귀 간의 관계를 탐색하며, SIR가 희박한 주성분 분석(sparse PCA)보다 선형 회귀와 더 자연스럽게 연결될 수 있음을 제안하는 것.

제안 방법

• 저자는 희박성 $ s $, 중심 차원 $ d $, $ \mathrm{Var}(\mathbb{E}[\boldsymbol{x}|y]) $ 의 최소 비영인 고유값 $ \lambda $, 유한성 파라미터 $ \kappa $ 를 특징으로 하는 광범위한 모델 클래스 $ \mathfrak{M}_{s,q}(p,d,\lambda,\kappa) $ 를 정의한다.
• 저자들은 고차원에서 추정 정확도를 향상시키기 위해 다수의 SIR 추정치를 조합하는 집계된 SIR 추정량을 제안한다.
• 추정량의 수렴 속도는 농도 부등식과 서브가우시안 尾 확률 경계를 사용하여 유도되며, 특히 조건부 조건 하에서 $ \sqrt{n} \langle \mathcal{Z}^{(2)} \mathcal{W}^{(2)\top}, \boldsymbol{K}_B \rangle $ 의 행동을 분석한다.
• 이론적 분석은 조건부 독립성과 가우시안 근사 기법에 의존하며, 사건 $ \mathtt{E} $ 가 성립할 경우 추정량의 오차가 서브가우시안임을 보여준다.
• 기술적 추측을 통해 $ d $ 와 $ \lambda $ 가 $ n $ 과 함께 증가하는 경우에도 최적성 결과를 확장하여 더 넓은 고차원 영역에 적용 가능함을 시사한다.
• 분석을 통해 SIR가 선형 모델에서 상관관계 필터링의 최적 속도와 일치하는 것을 보여, SIR가 선형 회귀와의 연결을 강화한다.

실험 결과

연구 질문

• RQ1 고차원 다중 색인 모델에서 중심 부분공간을 추정하는 데 있어 최대위험 수렴 속도는 무엇인가?
• RQ2 희박성과 유한한 신호 강도 조건 하에서, 조각별 역행귀사법(SIR) 절차가 수렴 속도 측면에서 최적인가?
• RQ3 활성 예측 변수 수 $ s $ 가 표본 크기 $ n $ 에 비해 작을 경우 SIR 추정량이 최적 속도를 달성할 수 있는가?
• RQ4 SIR에서 $ \mathrm{Var}(\mathbb{E}[\boldsymbol{x}|y]) $ 의 최소 비영인 고유값 $ \lambda $ 는 추정 속도와 신호 강도에 어떤 영향을 미치는가?
• RQ5 특히 최적 추정 속도 측면에서 고차원에서 SIR와 선형 회귀 간의 근본적인 연결 고리가 존재하는가?

주요 결과

• 집계된 SIR 추정량은 $ d \wedge \left( \frac{sd + s\log(ep/s)}{n\lambda} \right) $ 의 수렴 속도를 달성하며, 이는 단일 색인 모델의 경우 최대위험 하한값과 정확히 일치한다.
• 중앙 차원 $ d $ 와 신호 강도 $ \lambda $ 가 고정되어 있을 경우, 이 속도는 다중 색인 모델에 대해 최적이다.
• 기술적 추측을 통해 $ d $ 와 $ \lambda $ 가 $ n $ 과 함께 증가하는 경우에도 동일한 속도가 최적임이 보장되며, 이는 더 넓은 고차원 영역으로 결과를 확장함을 의미한다.
• SIR가 추정하는 $ \mathrm{Var}(\mathbb{E}[\boldsymbol{x}|y]) $ 의 열공간은 $ \boldsymbol{\Sigma} = \mathbf{I} $ 일 때 중심 부분공간과 일치하므로, 이 접근법이 타당함을 검증한다.
• 결과는 SIR가 희박한 주성분 분석보다 선형 회귀와 더 자연스럽게 연결되어 있음을 시사하며, 이는 최적 속도가 일치하기 때문이다.
• 논문은 SIR가 희박성과 유한한 신호 강도 조건 하에서 고차원 설정에서 최적 수렴 속도를 달성할 수 있음을 확립하며, 실용적 사용에 대한 이론적 근거를 제공한다.