[论文解读] On consistency and sparsity for sliced inverse regression in high dimensions

Qian Lin, Zhigen Zhao+1 more|arXiv (Cornell University)|Jul 14, 2015

Statistical Methods and Inference参考文献 26被引用 16

一句话总结

本文在高维设置下建立了Sliced Inverse Regression（SIR）的相变行为，证明SIR仅在渐近比ρ = lim p/n = 0时具有一致性。为解决p > n时的一致性问题，作者提出了一种对角阈值SIR（DT-SIR）算法，结合单变量筛选与SIR，基于协方差矩阵和方向载荷的稀疏性假设，实现了降维空间的一致估计。

ABSTRACT

We provide here a framework to analyze the phase transition phenomenon of slice inverse regression (SIR), a supervised dimension reduction technique introduced by \cite{Li:1991}. Under mild conditions, the asymptotic ratio $ρ= \lim p/n$ is the phase transition parameter and the SIR estimator is consistent if and only if $ρ= 0$. When dimension $p$ is greater than $n$, we propose a diagonal thresholding screening SIR (DT-SIR) algorithm. This method provides us with an estimate of the eigen-space of the covariance matrix of the conditional expectation $var(\mathbf{E}[\boldsymbol{x}|y])$. The desired dimension reduction space is then obtained by multiplying the inverse of the covariance matrix on the eigen-space. Under certain sparsity assumptions on both the covariance matrix of predictors and the loadings of the directions, we prove the consistency of DT-SIR in estimating the dimension reduction space in high dimensional data analysis. Extensive numerical experiments demonstrate superior performances of the proposed method in comparison to its competitors.

研究动机与目标

• 理解当预测变量数量p随样本量n增长时，Sliced Inverse Regression（SIR）的理论极限。
• 识别SIR在高维情形（p > n）下失效的条件，特别是从一致性角度出发。
• 为超高维数据开发一种一致、稀疏且计算上可行的SIR扩展方法。
• 在预测变量协方差和方向载荷的稀疏性假设下，为所提出的DT-SIR方法建立理论保证。

提出的方法

• 提出一种对角阈值筛选程序，基于单变量统计量$\text{var}_H(\boldsymbol{x}(k))$识别活跃预测变量，该统计量用于估计$\text{var}(\mathbb{E}[\boldsymbol{x}|y])$的对角元素。
• 仅对按$\text{var}_H(\boldsymbol{x}(k))$排序后选出的预测子集应用SIR，从而在估计前降低维度。
• 将中心空间估计为$\widehat{\boldsymbol{\Sigma}}_{\boldsymbol{x}}^{-1} \cdot \text{col}(\widehat{\boldsymbol{V}}_H)$的列空间，其中$\widehat{\boldsymbol{V}}_H$是条件期望协方差的样本估计。
• 利用随机矩阵理论和浓度不等式，推导出β分布变量顺序统计量的尾部界，这对证明一致性至关重要。
• 采用Stirling公式和泰勒展开，以控制二项式系数和极端顺序统计量的尾部概率。
• 在精度矩阵$\boldsymbol{\Sigma}_{\boldsymbol{x}}^{-1}$和中心空间载荷向量的稀疏性假设下，建立了DT-SIR的一致性。

实验结果

研究问题

• RQ1 在渐近比ρ = lim p/n为何值时，SIR在高维设置下变得不一致？
• RQ2 当p > n时，是否可在适当的结构假设下构造出一致的SIR估计量？
• RQ3 所提出的对角阈值筛选程序是否能有效恢复高维数据中的真实降维空间？
• RQ4 对预测变量协方差和方向载荷的稀疏性假设如何影响SIR估计量的一致性？
• RQ5 SIR的理论相变行为类似于主成分分析（PCA）中的何种现象？如何严格建立该行为？

主要发现

• SIR当且仅当渐近比ρ = lim p/n = 0时具有一致性，确立了在ρ = 0处的严格相变。
• 当p > n时，标准SIR估计量由于p/n发散而无法一致估计中心空间。
• 所提出的DT-SIR方法在精度矩阵和方向载荷的稀疏性假设下，可实现降维空间的一致估计。
• 对角筛选步骤通过按单变量统计量$\text{var}_H(\boldsymbol{x}(k))$对预测变量排序，有效选择了最具信息量的预测变量。
• 理论分析表明，顺序统计量偏离概率呈指数衰减，支持筛选步骤的一致性。
• 数值实验表明，DT-SIR在高维设置下相比现有SIR方法表现出更优性能。