[論文レビュー] On the optimality of sliced inverse regression in high dimensions

Qian Lin, Xinran Li+2 more|arXiv (Cornell University)|Jan 21, 2017

Statistical Methods and Inference参考文献 11被引用数 10

ひとこと要約

この論文は、スライス逆回帰（SIR）を用いた高次元多重インデックスモデルにおける中心部分空間推定のミニマックス最適レートを確立している。集約SIR推定量が $ d \wedge \left( \frac{sd + s\log(ep/s)}{n\lambda} \right) $ のレートを達成することを示しており、これは単一インデックスモデルおよび固定次元 $ d $ と信号強度 $ \lambda $ を持つ多重インデックスモデルにおいて最適である。結果は、スパarsityおよび低信号強度の条件下でSIRの有効性を理論的に裏付けている。

ABSTRACT

The central subspace of a pair of random variables $(y,x) \in \mathbb{R}^{p+1}$ is the minimal subspace $\mathcal{S}$ such that $y \perp \hspace{-2mm} \perp x\mid P_{\mathcal{S}}x$. In this paper, we consider the minimax rate of estimating the central space of the multiple index models $y=f(β_{1}^τx,β_{2}^τx,...,β_{d}^τx,ε)$ with at most $s$ active predictors where $x \sim N(0,I_{p})$. We first introduce a large class of models depending on the smallest non-zero eigenvalue $λ$ of $var(\mathbb{E}[x|y])$, over which we show that an aggregated estimator based on the SIR procedure converges at rate $d\wedge((sd+s\log(ep/s))/(nλ))$. We then show that this rate is optimal in two scenarios: the single index models; and the multiple index models with fixed central dimension $d$ and fixed $λ$. By assuming a technical conjecture, we can show that this rate is also optimal for multiple index models with bounded dimension of the central space. We believe that these (conditional) optimal rate results bring us meaningful insights of general SDR problems in high dimensions.

研究の動機と目的

• 高次元多重インデックスモデルにおける中心部分空間推定のミニマックス収束レートを特定すること。
• $ p \gg n $ のような高次元設定におけるスライス逆回帰（SIR）手順の収束レートにおける最適性を評価すること。
• SIRがスパarsityおよび有界信号強度の下で最適収束レートを達成する条件を確立すること。
• 固定次元漸近論から離れて、スパース予測子を伴う高次元領域におけるSIRの理論的理解を拡張すること。
• SIRと高次元における線形回帰との関係を探索し、SIRがスパースPCAよりも線形回帰とより自然に結びついている可能性を示唆すること。

提案手法

• 著者らは、スパarsity $ s $、中心次元 $ d $、$ \mathrm{Var}(\mathbb{E}[\boldsymbol{x}|y]) $ の最小固有値 $ \lambda $、および有界性パラメータ $ \kappa $ を特徴とする、広範なモデル族 $ \mathfrak{M}_{s,q}(p,d,\lambda,\kappa) $ を定義している。
• 高次元における推定精度の向上を目的として、複数のSIR推定量を組み合わせる集約SIR推定量を提案している。
• 収束レートの導出には、集中不等式およびサブガウス型尾部境界を用い、特に条件付き分布下での $ \sqrt{n} \langle \mathcal{Z}^{(2)} \mathcal{W}^{(2)\top}, \boldsymbol{K}_B \rangle $ の挙動を分析している。
• 理論的分析は、条件付き独立性およびガウス近似技術に依拠しており、イベント $ \mathtt{E} $ の下で推定量の誤差がサブガウス型であることを示している。
• 技術的予想を用いて、$ d $ および $ \lambda $ が $ n $ と共に増加する場合にも最適性結果を拡張し、より広範な高次元領域への適用可能性を示唆している。
• SIRと線形回帰との関連を示すために、SIRにおける射影方向推定の最適レートが、線形モデルにおける相関スクリーニングの最適レートと一致することを示している。

実験結果

リサーチクエスチョン

• RQ1 高次元多重インデックスモデルにおける中心部分空間推定のミニマックス収束レートは何か？
• RQ2 スパarsityおよび有界信号強度の下で、スライス逆回帰（SIR）手順は収束レートにおいて最適か？
• RQ3 活性予測子数 $ s $ が標本サイズ $ n $ よりも小さい場合に、SIR推定量は最適レートに達するか？
• RQ4 $ \mathrm{Var}(\mathbb{E}[\boldsymbol{x}|y]) $ の最小非ゼロ固有値 $ \lambda $ は、SIRにおける推定レートおよび信号強度にどのように影響するか？
• RQ5 高次元において、SIRと線形回帰の間には根本的な関連性があるか、特に最適推定レートの観点から？

主な発見

• 集約SIR推定量は、$ d \wedge \left( \frac{sd + s\log(ep/s)}{n\lambda} \right) $ の収束レートを達成しており、これは単一インデックスモデルの場合にミニマックス下界と一致する。
• 中心次元 $ d $ および信号強度 $ \lambda $ が固定されている場合、このレートは多重インデックスモデルにおいて最適である。
• 技術的予想を用いることで、$ d $ および $ \lambda $ が $ n $ と共に増加する場合でも、同じレートが最適であることが示唆され、より広範な高次元領域への一般化が可能となる。
• SIRが推定する $ \mathrm{Var}(\mathbb{E}[\boldsymbol{x}|y]) $ の列空間は、$ \boldsymbol{\Sigma} = \mathbf{I} $ のとき中心部分空間と一致するため、アプローチの妥当性が裏付けられる。
• 結果は、SIRが高次元においてスパースPCAよりも線形回帰とより自然に一致しており、最適レートが一致することを示唆している。
• 本研究は、スパarsityおよび有界信号強度の下でSIRが高次元設定においてレート最適であることを確立し、その実用的使用の理論的裏付けを提供している。