[論文レビュー] Strong consistency of the AIC, BIC, $C_p$ and KOO methods in high-dimensional multivariate linear regression

Zhidong Bai, Yasunori Fujikoshi+1 more|arXiv (Cornell University)|Oct 30, 2018

Statistical Methods and Inference参考文献 41被引用数 6

ひとこと要約

本稿は、高次元多変量線形回帰におけるAIC、BIC、$C_p$、およびKOO手法の強一貫性に関する必要十分条件を確立する。また、弱い高次元条件の下で、BICの強一貫性がAICの強一貫性を意味することを証明し、古典的認識とは対照的に、AICの強一貫性がBICの強一貫性を含むことを示す。さらに、次元数とサンプルサイズの制約を緩和しつつ強一貫性を達成する2つの一般化KOOベースの手法を提案し、シミュレーションでより速い収束を示す。

ABSTRACT

Variable selection is essential for improving inference and interpretation in multivariate linear regression. Although a number of alternative regressor selection criteria have been suggested, the most prominent and widely used are the Akaike information criterion (AIC), Bayesian information criterion (BIC), Mallow's $C_p$, and their modifications. However, for high-dimensional data, experience has shown that the performance of these classical criteria is not always satisfactory. In the present article, we begin by presenting the necessary and sufficient conditions (NSC) for the strong consistency of the high-dimensional AIC, BIC, and $C_p$, based on which we can identify some reasons for their poor performance. Specifically, we show that under certain mild high-dimensional conditions, if the BIC is strongly consistent, then the AIC is strongly consistent, but not vice versa. This result contradicts the classical understanding. In addition, we consider some NSC for the strong consistency of the high-dimensional kick-one-out (KOO) methods introduced by Zhao et al. (1986) and Nishii et al. (1988). Furthermore, we propose two general methods based on the KOO methods and prove their strong consistency. The proposed general methods remove the penalties while simultaneously reducing the conditions for the dimensions and sizes of the regressors. A simulation study supports our consistency conclusions and shows that the convergence rates of the two proposed general KOO methods are much faster than those of the original methods.

研究の動機と目的

• 高次元多変量線形回帰におけるAIC、BIC、$C_p$、およびKOO手法の強一貫性に関する必要十分条件（NSC）を確立すること。
• 予測変数と応答変数の両方が高次元である状況で、古典的基準（AIC、BIC、$C_p$）が劣悪な性能を示す理由を特定すること。
• 高次元におけるBICとAICの一貫性の関係を調査し、古典的仮定に挑戦すること。
• 明示的なペナルティを用いず、次元数とサンプルサイズの制約を緩和しつつ強一貫性を達成する2つの一般化KOOベースの手法を提案すること。
• 理論的結果をシミュレーション研究および実データ解析を通じて検証し、元のKOO手法と比較して収束速度が速いことを示すこと。

提案手法

• ランダム行列理論の枠組みにおける漸近的解析を用いて、高次元多変量線形モデルにおけるAIC、BIC、$C_p$の強一貫性に関する必要十分条件（NSC）を導出する。
• 投影行列と誤差項を含む二次形式の期待値を分析するため、in-out交換公式およびブロック行列の逆行列を適用する。
• 1つを除くというキックオブ・オブ・プラインシプルに基づく2つの一般化KOO手法を提案し、明示的なペナルティに依存せずに強一貫性を維持する。
• 固有値およびトレース関数の漸近的挙動を用いて、主要な二次形式の極限表現を導出し、Stieltjes変換およびスペクトル分布理論に依存する。
• 高次元条件下で、BICの強一貫性がAICの強一貫性を含むことを確立し、古典的直観を逆転させる。
• シミュレーション研究および実データ解析を用いて、提案手法と元のKOOおよび古典的基準との間の収束速度と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 多変量線形回帰におけるAICが強一貫性を示す高次元的条件は何か？
• RQ2 古典的認識とは対照的に、高次元的状況下でBICの強一貫性がAICの強一貫性を含むのか？
• RQ3 高次元多変量回帰におけるKOO手法の強一貫性に関する必要十分条件は何か？
• RQ4 明示的なペナルティに依存せず、次元数およびサンプルサイズの制約を緩和しつつ強一貫性を達成する一般化KOOベースの手法を構築できるか？
• RQ5 有限サンプルにおいて、提案された一般化KOO手法の収束速度は、元のKOO手法と比べてどのように異なるか？

主な発見

• 弱い高次元的条件下で、BICが強一貫性を示せば、AICも強一貫性を示す—これは、AICがBICより保守的でないとされる古典的信念とは対照的である。
• AIC、BIC、$C_p$の強一貫性に関する必要十分条件を明示的に導出し、次元数がサンプルサイズとともに増加する状況でその性能に構造的制限があることを明らかにした。
• 提案された一般化KOO手法はペナルティ項に依存せず、予測変数の数およびサンプルサイズに要請される条件を顕著に緩和した。
• シミュレーション研究により、提案された2つの一般化KOO手法の収束速度が、元のKOO手法よりも顕著に速いことが示された。
• 実データ解析により、提案手法が古典的基準および元のKOO手法よりも高次元的状況下で優れた性能と一貫性を示すことが確認された。
• 理論的解析により、主要な二次形式の漸近的挙動が、設計行列および誤差構造のスペクトル分布に強く依存することが確認され、特にStieltjes変換およびトレース関数を通じてその影響が顕在化した。