[論文レビュー] Extended BIC for linear regression models with diverging number of relevant features and high or ultra-high feature spaces

Shan Luo, Zehua Chen|arXiv (Cornell University)|Jul 13, 2011

Statistical Methods and Inference参考文献 19被引用数 3

ひとこと要約

本稿は、標本サイズとともに発散する関連特徴数を伴う高次元または超高次元特徴空間における線形回帰モデルにベイズ情報量基準（BIC）を拡張する。一般条件の下で拡張BIC（EBIC）の選択一貫性を確立し、関連特徴数が $ O(n^c) $ の割合で増加する場合（$ 0 < c < 1 $）に、$ p = O(n^k) $ または $ p = O(e^{n^k}) $ であっても、真のモデルを一貫して特定できることを証明する。

ABSTRACT

In many conventional scientific investigations with high or ultra-high dimensional feature spaces, the relevant features, though sparse, are large in number compared with classical statistical problems, and the magnitude of their effects tapers off. It is reasonable to model the number of relevant features as a diverging sequence when sample size increases. In this article, we investigate the properties of the extended Bayes information criterion (EBIC) (Chen and Chen, 2008) for feature selection in linear regression models with diverging number of relevant features in high or ultra-high dimensional feature spaces. The selection consistency of the EBIC in this situation is established. The application of EBIC to feature selection is considered in a two-stage feature selection procedure. Simulation studies are conducted to demonstrate the performance of the EBIC together with the two-stage feature selection procedure in finite sample cases.

研究の動機と目的

• 高次元または超高次元線形モデルにおいて関連特徴数が発散する状況でも選択一貫性を保つモデル選択基準の不足を解消すること。
• 真の特徴数が標本サイズとともに増加する状況でも、拡張BIC（EBIC）が選択一貫性を保つ理論的条件を確立すること。
• 関連特徴数が固定または緩やかに増加する場合に限らない、多項式的または指数的に増加する関連特徴数の設定へのEBICの適用範囲を拡張すること。
• 小-$ n $-大-$ p $ 問題における罰則パラメータの選択の理論的根拠を提供すること。
• 2段階の特徴選択手順におけるEBICの有限標本性能をシミュレーション研究で検証すること。

提案手法

• パrameter $ \gamma \in [0,1] $ を持つBICの拡張版（EBIC）を提案し、特徴数と可能なモデル数の対数に基づいてモデルの複雑さをペナルティ化する。
• 関連特徴数 $ p_{0n} = O(n^c) $（$ 0 < c < 1 $）であると仮定し、$ p_n $ が $ n $ に対して多項式的または指数的に増加する場合に、EBICの選択一貫性を導出する。
• 尤度比と残差平方和の漸近的解析を用いて、真のモデル $ s_{0n} $ と任意の代替モデル $ s $ のEBIC値を比較し、確率が1に近づくように真のモデルが優先されることを示す。
• 集中不等式とカイ二乗分布の尾部バウンドを用いて、帰無仮説および対立仮説モデル下での残差平方和の確率的挙動を制御する。
• 2段階の特徴選択手順を導入：まずスクリーニングステップで特徴空間を縮小し、次にEBICを用いて縮小された集合からの最適モデルを選択する。
• 射影行列の最大固有値および二次形式に関する理論的バウンドを用いて、残差平方和の期待値からの逸脱を制御する。

実験結果

リサーチクエスチョン

• RQ1 高次元または超高次元線形モデルにおいて、関連特徴数が標本サイズとともに発散する場合、拡張BIC（EBIC）がどのような条件下で選択一貫性を保つのか。
• RQ2 関連特徴数が $ O(n^c) $（$ 0 < c < 1 $）の割合で増加する場合、EBICのパrameter $ \gamma $ は選択一貫性にどのように影響するか。
• RQ3 特徴数 $ p_n $ が標本サイズ $ n $ に対して多項式的または指数的に増加する場合、EBICは選択一貫性を保つことができるか。
• RQ4 関連特徴数が発散する小-$ n $-大-$ p $ 問題において、EBICはAIC、BIC、CVといった従来の基準と比べて選択一貫性で優れているか。
• RQ5 2段階の特徴選択手順でEBICが使用された場合の有限標本性能はいかがなっているか。

主な発見

• EBICは $ p_n = O(n^k) $ または $ p_n = O(e^{n^k}) $（$ 0 < k < 1 $）であり、かつ関連特徴数が $ O(n^c) $（$ 0 < c < 1 $）で増加する場合に選択一貫性を示す。ただし、$ \gamma > \frac{1+\delta}{1-\delta} - \frac{\ln n}{2(1-\delta)\ln p_n} $ を満たす必要があり、ここで $ \delta = \lim \frac{\ln \nu(s)}{\ln p_n} $ である。
• EBICは、関連特徴数が発散する高次元設定において、AIC、BIC、CVといった従来の基準よりも選択一貫性で優れている。
• EBICは関連特徴数が標本サイズとともに増加する場合でも、選択一貫性を維持するが、これは古典的BICやAICでは保証されない。
• シミュレーション研究により、EBICを用いた2段階の特徴選択手順が有限標本で高い真正陽性率と低い偽陽性率を達成することが確認された。
• 理論的解析により、真のモデルと任意の代替モデルのEBIC値の差が確率的に無限大に発散することが示され、一貫性のあるモデル選択が保証された。
• EBICにおいて $ \gamma = 1 $ とすると、遺伝的QTLマッピングで用いられるmBIC基準に漸近的に一致し、既知の応用分野における一貫性の妥当性が裏付けられた。