[論文レビュー] Sparse Sliced Inverse Regression for High Dimensional Data

Qian Lin, Zhigen Zhao+1 more|arXiv (Cornell University)|Nov 21, 2016

Statistical Methods and Inference参考文献 22被引用数 4

ひとこと要約

本稿では、条件付き分散共分散行列の上位固有ベクトルから導出された人工的応答変数に対してLasso回帰を適用することで、十分次元削減空間を推定するスパースなスライス逆回帰法、Lasso-SIRを提案する。$ p = o(n^2\theta^2) $ の条件下でスパarsity仮定のもとで一貫性および最適収束速度を達成し、シミュレーションおよび実データにおいて優れた性能を示す。

ABSTRACT

For multiple index models, it has recently been shown that the sliced inverse regression (SIR) is consistent for estimating the sufficient dimension reduction (SDR) space if and only if $ ho=\lim\frac{p}{n}=0$, where $p$ is the dimension and $n$ is the sample size. Thus, when $p$ is of the same or a higher order of $n$, additional assumptions such as sparsity must be imposed in order to ensure consistency for SIR. By constructing artificial response variables made up from top eigenvectors of the estimated conditional covariance matrix, we introduce a simple Lasso regression method to obtain an estimate of the SDR space. The resulting algorithm, Lasso-SIR, is shown to be consistent and achieve the optimal convergence rate under certain sparsity conditions when $p$ is of order $o(n^2\lambda^2)$, where $\lambda$ is the generalized signal-to-noise ratio. We also demonstrate the superior performance of Lasso-SIR compared with existing approaches via extensive numerical studies and several real data examples.

研究の動機と目的

• 予測変数の数 $ p $ がサンプルサイズ $ n $ と同程度またはそれ以上である高次元設定において、標準的Sliced Inverse Regression (SIR) が一貫性を失う問題に対処すること。
• 十分次元削減空間にスパarsityを課すことによって、高次元設定でもSIRが一貫性を保つ条件を確立すること。
• $ p $ が $ n $ とともに増加する状況において、計算的に効率的かつ統計的に一貫性のあるSDR空間推定法を開発すること。
• スパarsityおよび一般化信号対雑音比制約のもとで、SDR空間推定器の最適収束速度を達成すること。

提案手法

• 十分次元削減空間の構造を捉えるために、推定された条件付き分散共分散行列の上位固有ベクトルから人工的応答変数を構築する。
• これらの人工的応答変数にLasso回帰を適用し、推定された方向行列にスパarsityを導入する。
• Lassoの解を用いてSDR空間を推定し、スパarsityを活用することで高次元設定でも一貫性を確保する。
• 条件 $ p = o(n^2\theta^2) $ の下で理論的一致性および最適収束速度を確立する。ここで $ \theta $ は一般化信号対雑音比を表す。
• SIRの解釈可能性を保ちつつ、高次元的かつスパースな設定でも頑健性を獲得できるように、手法を構築する。
• 標準的なLassoソルバーに依存することで、複雑な最適化を回避し、計算実行可能性を確保する。

実験結果

リサーチクエスチョン

• RQ1 予測変数の数 $ p $ がサンプルサイズ $ n $ と同程度またはそれ以上である状況で、Sliced Inverse Regression がどのような条件下で一貫性を示すのか。
• RQ2 スパarsity仮定を課すことによって、$ p/n \to 0 $ が満たされない高次元設定でもSIRの一致性が回復可能か。
• RQ3 スパarsityおよび一般化信号対雑音比制約のもとで、SDR空間推定器の最適収束速度は何か。
• RQ4 有限サンプルにおいて、提案手法Lasso-SIRは既存のSIRベースの手法と比べてどのように差を示すか。
• RQ5 スパース構造を有する高次元データにおいて、この手法は真のSDR空間を効果的に回復できるか。

主な発見

• Lasso-SIRは、$ p = o(n^2\theta^2) $ の条件下で、一般化信号対雑音比 $ \theta $ を用いて、十分次元削減空間の推定において一貫性を達成する。
• 仮定されたスパarsity条件下で、理論的下限に一致する最適収束速度を達成する。
• 広範な数値実験により、Lasso-SIRは既存のSIRベースの手法に比べ、推定精度および変数選択の観点で優れた性能を示す。
• 実データ例により、本手法の実用的有用性および高次元設定における頑健性が確認された。
• 上位固有ベクトルから導出された人工的応答変数の使用により、効果的な次元削減が可能であり、統計的効率性も維持された。
• Lassoペナルティは、推定された方向行列にスパarsityを効果的に導入し、解釈可能性および一貫性の向上に寄与した。