[論文レビュー] Asymptotic Properties of SURE Information Criteria for Large Covariance Matrices

Danning Li, Hui Zou|arXiv (Cornell University)|Jun 25, 2014

Random Matrices and Applications参考文献 22被引用数 2

ひとこと要約

本稿は、高次元設定（n ≤ p、log p = o(n)）における大規模な分散共分散行列推定において、テーパー化パラメータの選択のための一般化された Stein の不偏リスク推定器（SUREc）の族を提案する。SUREc の漸近正規性を確立し、SURE2 および SURElog(n) が AIC および BIC に類似した性質を有することを示し、バンドラブルな分散共分散行列の選択が一貫的に行えることを示す。

ABSTRACT

Yi and Zou (2013) proposed a Stein’s unbiased risk estimator (SURE) for the tapering covariance estimator and suggested using the minimizer of SURE as the chosen tapering parameter. Motivated by the deep connection between SURE and AIC in regression models, we propose a family of generalized SURE (SUREc) indexed by c where c is the same constant in front of the degrees of freedom in the information criteria for regression model selection. When c is 2 SURE2 reduces to SURE. Let n and p denote the sample size and dimension respectively. We consider the setting where n ≤ p and log(p) = o(n). We establish the asymptotic normality of the generalized SURE and further derive an explicit probability bound result. We then provide a series of theorems to show that the generalized SURE family can be viewed as the information criteria for bandable covariance matrix estimation and selection in the sense that SURE2 and SURElog(n) have the fundamental properties of AIC and BIC, ∗Statistical Laboratory, University of Cambridge, Centre for Mathematical Sciences, Wilberforce Road, Cambridge CB3 0WB, UK, [e-mail]. †Corresponding authors. [e-mail]. School of Statistics, University of Minnesota.

研究の動機と目的

• 標本サイズ n が次元 p 以下である状況（n ≤ p）における大規模な分散共分散行列推定の際、最適なテーパー化パラメータを選択する課題に対処すること。
• 回帰における SURE と情報基準（AIC/BIC）の関係を、分散共分散行列推定へと拡張すること。
• 定数 c によってインデックス付けされる一般化された SURE フレームワーク（SUREc）を構築すること。
• 一般化された SURE 推定器の漸近正規性および有限標本確率バウンドを確立すること。
• SURE2 および SURElog(n) がバンドラブルな分散共分散行列選択の文脈で AIC および BIC に類似した基本的性質を有することを示すこと。

提案手法

• 定数 c によってインデックス付けされる一般化された SUREc 推定器を提案し、c が情報基準における自由度に類似したペナルティ項を制御することを特徴とする。
• n ≤ p および log(p) = o(n) である高次元的設定下で、一般化された SURE 推定器の漸近正規性を導出する。
• SUREc 推定器の明示的な有限標本確率バウンドを確立し、真のリスクからの集中度を定量化する。
• SUREc フレームワークをテーパー化共分散推定器に適用し、SUREc の最小化点をテーパー化パラメータの選択基準とする。
• SURE2 が元の SURE 推定器に一致し、SURElog(n) が BIC のペナルティ構造を模倣することを示す。
• ランダム行列理論および高次元的漸近論の理論的道具を用いて、指定された設定下での SUREc の性質を導出する。

実験結果

リサーチクエスチョン

• RQ1 SURE 推定器は、高次元的分散共分散行列推定のための情報基準族（SUREc）に一般化可能か？
• RQ2 高次元的設定（n ≤ p および log p = o(n)）下で、一般化された SUREc 推定器は漸近正規性を保つか？
• RQ3 SURE2 および SURElog(n) は、バンドラブルな分散共分散行列選択の文脈で AIC および BIC に類似した性質を示すか？
• RQ4 一般化された SURE 推定器の有限標本確率バウンドは何か？ また、モデル選択の一貫性とどのように関係するか？
• RQ5 SUREc フレームワークは、大規模な分散共分散行列におけるテーパー化パラメータの一貫した選択に利用可能か？

主な発見

• 一般化された SUREc 推定器は、n ≤ p および log(p) = o(n) である高次元的設定下で漸近正規性を有する。
• SUREc 推定器の明示的な有限標本確率バウンドが導出され、真のリスクからの逸脱度が定量化された。
• SURE2 は元の SURE 推定器に一致し、テーパー化パラメータのリスク推定器としての性質を継承する。
• SURElog(n) は BIC に類似した性質を示し、大規模な分散共分散行列における真のバンドラブル構造の一貫した選択が可能であると示唆する。
• SUREc フレームワークは、高次元的分散共分散行列推定におけるテーパー化パラメータ選択の理論的裏付けを有する情報基準を提供する。
• 本研究の結果により、SURE2 および SURElog(n) が、バンドラブルな分散共分散行列推定の文脈でそれぞれ AIC および BIC の基本的性質を有することが立証された。