[論文レビュー] Strong Sure Screening of Ultra-high Dimensional Categorical Data

Randall Reese, Xiaotian Dai+1 more|arXiv (Cornell University)|Jan 10, 2018

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿は、正規化条件の下で強力な正確なスクリーニング特性を確立する、超高次元のカテゴリカルデータに対する新しい特徴スクリーニング手法を提案する。この手法は、サンプルサイズが増加するにつれて、真に重要な予測子を確率1に近い確率で一貫して特定することができ、高次元離散設定において既存の手法を凌駕する性能を示す。

ABSTRACT

Feature screening for ultra high dimensional feature spaces plays a critical role in the analysis of data sets whose predictors exponentially exceed the number of observations. Such data sets are becoming increasingly prevalent in areas such as bioinformatics, medical imaging, and social network analysis. Frequently, these data sets have both categorical response and categorical covariates, yet extant feature screening literature rarely considers such data types. We propose a new screening procedure rooted in the Cochran-Armitage trend test. Our method is specifically applicable for data where both the response and predictors are categorical. Under a set of reasonable conditions, we demonstrate that our screening procedure has the strong sure screening property, which extends the seminal results of Fan and Lv. A series of four simulations are used to investigate the performance of our method relative to three other screening methods. We also apply a two-stage iterative approach to a real data example by first employing our proposed method, and then further screening a subset of selected covariates using lasso, adaptive-lasso and elastic net regularization.

研究の動機と目的

• カテゴリカルな応答変数とカテゴリカルな予測子を併せ持つ超高次元データに対して、効果的な特徴スクリーニング手法が不足している問題に対処すること。
• 連続的予測子を仮定するか、パラメトリックモデルに依存する既存のスクリーニング手法の限界を克服すること。
• 超高次元設定におけるカテゴリカルデータに特化した、モデルフリーで非パラメトリックなスクリーニング手順を開発すること。
• 最小限の仮定の下で、提案手法の理論的保証を確立すること、特に強力な正確なスクリーニング特性を含むこと。
• 正則化を組み合わせた二段階反復的アプローチを用いたシミュレーションと実データ応用を通じて、手法の実用的有用性を示すこと。

提案手法

• 各カテゴリカル予測子とカテゴリカル応答変数の間の関連性を評価するため、Cochran-Armitageの傾向検定に基づくスクリーニング統計量を提案する。
• 予測子 $X_j$ と応答 $Y$ の間の関連の強さを測るランクベースの相関推定子 $\hat{\varrho}_j$ を定義し、やや弱い正則性条件のもとで一貫性を保証する。
• 重要変数を特定するためのしきい値ルール $\widehat{\mathcal{S}} = \{j : \hat{\varrho}_j \geq c\}$ を用い、$c = (2/3)\varrho_{\min}$ と定める。
• 真のランク相関 $\varrho_j$ を推定する $\hat{\varrho}_j$ の一様一貫性を確立し、$p$ 個のすべての予測子に対して信頼性の高い変数選択を可能にする。
• 二段階反復フレームワークを適用：まず提案手法で次元削減を行い、その後にLasso、アダプティブLasso、またはエラスティックネットを用いて選択された集合を精緻化する。
• 理論的分析では、弱大数法則と一様収束性を用い、選択された集合 $\widehat{\mathcal{S}}$ が確率的に1に近づくにつれて、すべての真の信号を含むことを証明する。

実験結果

リサーチクエスチョン

• RQ1 カテゴリカルな予測子と応答変数を有する超高次元カテゴリカルデータに対して、非パラメトリックでモデルフリーなスクリーニング手法を開発可能か？
• RQ2 提案手法は、真に重要な変数が確率1に近づく割合で選択されるという強力な正確なスクリーニング特性を達成するか？
• RQ3 有限標本において、Cochran-Armitageに基づくスクリーニング手法は、HLW-SIS（ピアソンカイ二乗）やDC-SIS（距離相関）といった既存手法と比較してどのように性能を発揮するか？
• RQ4 正則化手法を二段階フレームワークで効果的に組み合わせることで、変数選択の正確性を向上させられるか？
• RQ5 提案されたスクリーニング統計量が、カテゴリカル変数間の真の関連強度を一貫して推定するための理論的条件は何か？

主な発見

• 提案手法は強力な正確なスクリーニング特性を達成する：正則性条件の下で $n \to \infty$ のとき $\mathbb{P}(\mathcal{S}_T = \widehat{\mathcal{S}}) \to 1$ となる。
• ランク相関推定子 $\hat{\varrho}_j$ は $\varrho_j$ に対して一様一貫性を示し、すべての $p$ 個の予測子に対して信頼性の高い変数選択を保証する。
• シミュレーション研究では、さまざまな離散的データ構造において、真に重要な予測子の選択においてHLW-SISや他のスクリーニング手法を上回る性能を示した。
• 実データ応用において、まず提案手法を用い、その後にLassoやアダプティブLassoを適用する二段階アプローチが、選択の正確性と安定性を向上させた。
• 理論的分析により、スクリーニングしきい値 $c = (2/3)\varrho_{\min}$ が、すべての真の信号の漸近的包含と、すべてのノイズ変数の除外を保証することが確認された。
• この手法はモデルの誤指定に対して頑健であり、予測子や応答変数の背後分布に関する仮定を必要としないため、高次元離散データに適したものである。