[論文レビュー] Rates of convergence in conditional covariance matrix with nonparametric entries estimation

Jean–Michel Loubes, Clément Marteau+1 more|arXiv (Cornell University)|Oct 30, 2013

Random Matrices and Applications参考文献 32被引用数 5

ひとこと要約

本稿では、$(\bX, Y)$ の同時密度関数に滑らかさの仮定を置き、非パラメトリックな要素を有する条件付き分散共分散行列 $\text{Cov}(\bbE[\bX \typmid Y])$ のカーネルベースのプラグイン推定量を提案する。正則性条件の下で、Frobeniusノルムにおけるパラメトリックな収束速度を確立し、$p \to \infty$ かつ $p > n$ の高次元設定において一貫性を確保するため、バンドリング正則化を導入する。

ABSTRACT

Let $X\\in \\mathbb{R}^p$ and $Y\\in \\mathbb{R}$ be two random variables. We estimate the conditional covariance matrix $\\mathrm{Cov}\\left(\\mathrm{E}\\left[\\boldsymbol{X}\\vert Y\ ight]\ ight)$ applying a plug-in kernel-based algorithm to its entries. Next, we investigate the estimators rate of convergence under smoothness hypotheses on the density function of $(\\boldsymbol{X},Y)$. In a high-dimensional context, we improve the consistency the whole matrix estimator by providing a decreasing structure over the $\\mathrm{Cov}\\left(\\mathrm{E}\\left[\\boldsymbol{X}\\vert Y\ ight]\ ight)$ entries. We illustrate a sliced inverse regression setting for time series matching the conditions of our estimator

研究の動機と目的

• $(\bX, Y)$ の同時密度関数が未知である状況において、条件付き分散共分散行列 $\Sigma = \text{Cov}(\bbE[\bX \typmid Y])$ の一貫性のある推定量を開発すること。
• $(\bX, Y)$ の密度関数に滑らかさの仮定を置いた下で、推定量の収束速度を確立すること。特に、条件付き期待値 $\bbE[\bX \typmid Y]$ に注目する。
• 高次元的状況（$p \gg n$）における一貫性を向上させるために、$\Sigma$ の要素にバンドリング正則化構造を導入すること。
• スライス逆回帰フレームワークを用いて、時間系列設定における推定量の適用可能性を示すこと。モデルの条件を満たす特定の時間系列過程が存在することを示す。
• 非パラメトリックな条件付き平均の推定にもかかわらず、正則性条件の下で、行列推定量のFrobeniusノルムにおけるパラメトリックな収束速度を達成すること。

提案手法

• 各要素 $\sigma_{ij} = \text{Cov}(\bbE[X_i \typmid Y], \bbE[X_j \typmid Y])$ を非パラメトリックな条件付き平均推定を用いたプラグインカーネル法により推定する。
• 周辺密度 $f_Y(y)$ および条件付き期待値 $\bbE[\bX \typmid Y]$ にカーネル密度推定を適用し、$f_Y$ をネイジュー・パラメータとみなす。
• BickelとLevina（2008b）にインspiredされたバンドリング正則化技術を用いて、高次元的状況（$p > n$）における一貫性を向上させる。
• 推定誤差を正規化されたFrobeniusノルムで測定し、行列レベルのリスク評価を可能にする。
• 回帰関数のホルダー滑らかさ（$\mathcal{H}(\beta, L)$）に関する仮定を用いて、推定量の分散を成分に分解し、各成分をバウンドすることで収束速度を導出する。
• i.i.d.標本に対して二重平均化を適用し、確率的フラクチュエーションを制御するために、集中不等式およびカーネル関数の一様バウンドを用いる。

実験結果

リサーチクエスチョン

• RQ1 $(\bX, Y)$ の同時密度関数に滑らかさの仮定を置いた下で、条件付き分散共分散行列の要素 $\sigma_{ij}$ の非パラメトリックプラグイン推定量の収束速度は何か？
• RQ2 非パラメトリックな条件付き平均の推定にもかかわらず、Frobeniusノルムにおける行列推定量 $\hat{\Sigma}$ はパラメトリックな収束速度を達成できるか？
• RQ3 $p > n$ の場合に生じる高次元的不一致（例：固有値の散逸、一貫性の欠如）はどのように緩和できるか？
• RQ4 バンドリング正則化はどのような条件下で収束速度を向上させ、行列推定量の一貫性を保証するか？
• RQ5 どのような時間系列または従属データ設定において、提案された推定量は有効かつ一貫性を保つのか？

主な発見

• 滑らかさの仮定（$f_Y \in \mathcal{H}(\beta, L)$、$\bbE[X_i \typmid Y] \in \mathcal{H}(\beta, L)$）の下で、推定量 $\hat{\sigma}_{ij}$ はパラメトリックな収束速度 $O_p(h^{2\beta} + n^{-1}h^{-1} \log^4 n)$ を達成し、最適バンド幅 $h \sim n^{-1/(2\beta+1)}$ をとる。
• 正則性条件の下で、行列推定量 $\hat{\Sigma}$ のFrobeniusノルムリスクはパラメトリックな速度 $O_p(n^{-1/2})$ で収束する。非パラメトリックな条件付き平均推定にもかかわらずこの結果が得られる。
• 推定量の分散は $\text{Var}(\hat{\sigma}_{ij}) \leq C_1 h^{2\beta} + \frac{C_2 \log^4 n}{n^2 h^4} + \frac{1}{n}$ でバウンドされ、バイアスとバリアンスの最適なトレードオフが達成される。
• バンドリング正則化により、高次元的状況（$p \gg n$）において $\hat{\Sigma}$ の一貫性が保証される。これは要素に減少構造を導入することで、固有値の散逸を防ぐ。
• 非パラメトリックな周辺密度 $f_Y$ の推定が影響を及ぼさない半パラメトリックな設定においても、推定量は効率的である。
• スライス逆回帰フレームワークを用いることで、時間系列データにも適用可能である。第4節で示されるように、特定の時間系列過程がモデルの条件を満たす。