[論文レビュー] On consistency and sparsity for sliced inverse regression in high dimensions

Qian Lin, Zhigen Zhao+1 more|arXiv (Cornell University)|Jul 14, 2015

Statistical Methods and Inference参考文献 26被引用数 16

ひとこと要約

本稿は、高次元設定におけるスライス逆回帰（SIR）のフェーズ遷移行動を確立し、SIRが漸近的比 ρ = lim p/n = 0 のときにのみ一貫性を示すことを証明している。p > n の場合の不一致を解消するために、著者らは単変量スクリーニングとSIRを組み合わせた対角しきい値SIR（DT-SIR）アルゴリズムを提案し、共分散行列と方向負荷のスパarsity仮定の下で次元削減空間の一致推定を達成している。

ABSTRACT

We provide here a framework to analyze the phase transition phenomenon of slice inverse regression (SIR), a supervised dimension reduction technique introduced by \cite{Li:1991}. Under mild conditions, the asymptotic ratio $ρ= \lim p/n$ is the phase transition parameter and the SIR estimator is consistent if and only if $ρ= 0$. When dimension $p$ is greater than $n$, we propose a diagonal thresholding screening SIR (DT-SIR) algorithm. This method provides us with an estimate of the eigen-space of the covariance matrix of the conditional expectation $var(\mathbf{E}[\boldsymbol{x}|y])$. The desired dimension reduction space is then obtained by multiplying the inverse of the covariance matrix on the eigen-space. Under certain sparsity assumptions on both the covariance matrix of predictors and the loadings of the directions, we prove the consistency of DT-SIR in estimating the dimension reduction space in high dimensional data analysis. Extensive numerical experiments demonstrate superior performances of the proposed method in comparison to its competitors.

研究の動機と目的

• 予測変数の数 p が標本サイズ n と共に増加する際のスライス逆回帰（SIR）の理論的限界を理解すること。
• 特に一貫性の観点から、高次元的状況（p > n）におけるSIRの失敗条件を同定すること。
• 超高次元データに対して一貫性があり、スパースかつ計算的に実行可能なSIRの拡張を構築すること。
• 予測変数の共分散および方向負荷にスパarsity仮定をおく下での、提案されたDT-SIR手法の理論的保証を確立すること。

提案手法

• 単変量統計量 $\text{var}_H(\boldsymbol{x}(k))$ を用いて、$\text{var}(\mathbb{E}[\boldsymbol{x}|y])$ の対角成分を推定する対角しきい値スクリーニング手順を提案する。
• SIRを $\text{var}_H(\boldsymbol{x}(k))$ で順位付けされた選択された予測変数サブセットに対してのみ適用し、推定の前に次元を低減する。
• 中央空間を $\widehat{\boldsymbol{\Sigma}}_{\boldsymbol{x}}^{-1} \cdot \text{col}(\widehat{\boldsymbol{V}}_H)$ の列空間として推定する。ここで $\widehat{\boldsymbol{V}}_H$ は条件付き期待値の共分散の標本推定値である。
• ランダム行列理論と濃度不等式を用いて、一貫性の証明に不可欠なベータ分布変数の順序統計量の尾確率を導出する。
• スターリングの近似とテイラー展開を用いて、極値順序統計量の解析における二項係数および尾確率の上限を導出する。
• 精度行列 $\boldsymbol{\Sigma}_{\boldsymbol{x}}^{-1}$ および中央空間の負荷ベクトルの両方にスパarsity仮定をおく下で、DT-SIRの一貫性を確立する。

実験結果

リサーチクエスチョン

• RQ1 SIRが高次元的状況で不一致になる漸近的比 ρ = lim p/n はどの値か？
• RQ2 p > n の場合に、適切な構造的仮定の下で一貫性のあるSIR推定量を構築できるか？
• RQ3 提案された対角しきい値スクリーニング手順は、高次元データにおいて真の次元削減空間を効果的に回復できるか？
• RQ4 予測変数の共分散および方向負荷にスパarsity仮定をおくと、SIR推定量の一貫性にどのような影響を与えるか？
• RQ5 PCAにおける類似する理論的フェーズ遷移行動は何か、そしてそれを厳密に確立するにはどうすればよいか？

主な発見

• SIRは、かつたがって漸近的比 ρ = lim p/n = 0 のときにのみ一貫性を示す。ρ = 0 における鋭いフェーズ遷移を確立した。
• p > n の場合、p/n の発散により、標準的なSIR推定量は中央空間を一貫して推定できない。
• 提案されたDT-SIR手法は、精度行列および方向負荷のスパarsity仮定の下で、次元削減空間の一致推定を達成する。
• 対角スクリーニングステップは、単変量統計量 $\text{var}_H(\boldsymbol{x}(k))$ を用いて最も情報量の多い予測変数を効果的に選択する。
• 理論的解析により、順序統計量の逸脱確率が指数関数的に減少することが示され、スクリーニングステップの一貫性を支持する。
• 数値実験により、DT-SIRは高次元的状況において既存のSDR手法よりも優れた性能を示した。