[論文レビュー] Rates of convergence in conditional covariance matrix estimation

Jean–Michel Loubes, Clément Marteau+1 more|arXiv (Cornell University)|Oct 30, 2013

Random Matrices and Applications参考文献 30被引用数 4

ひとこと要約

本稿では、(X, Y) の同時密度関数の滑らかさに関する仮定の下で、条件付き分散共分散行列 Cov(E[X|Y]) のカーネルベースのプラグイン推定量を提案し、その収束速度を分析する。高次元においては、一貫性を確保するための改良が施され、収束速度はターゲット行列の構造的性質に依存する。

ABSTRACT

1Institut de Mathématiques de Toulouse. 2Institut National des Sciences appliquées de Toulouse. Let X ∈ Rp and Y ∈ R two random variables. In this paper we are in-terested in the estimation of the conditional covariance matrix Cov (E [X|Y]). To this end, we will use a plug-in kernel based algorithm. Then, we investigate the related performance under smoothness assump-tions on the density function of (X, Y). Moreover, in high-dimensional context, we shall improve our estimator to avoid inconsistency issues. In the matrix case, the convergence depends on some structural conditions over the Cov (E [X|Y]).

研究の動機と目的

• カーネルベース手法を用いて、条件付き分散共分散行列 Cov(E[X|Y]) の非パラメトリック推定量を開発すること。
• X, Y の同時密度関数の滑らかさに関する仮定の下で、提案された推定量の収束速度を分析すること。
• 高次元設定における一貫性の問題に対処するために、推定量の構造を改善すること。
• Cov(E[X|Y]) における構造的仮定が収束速度に与える影響を特定すること。

提案手法

• E[X|Y] を推定し、その後に Cov(E[X|Y]) を計算するために、プラグイン型カーネルベースのアルゴリズムを用いる。
• 滑らかさの仮定の下で、(X, Y) の同時分布をカーネル密度推定によりモデル化する。
• バイアスと分散の制御を目的として、バンド幅選択戦略を適用する。
• 高次元設定では、一貫性を確保するために、構造的正則化またはスパarsity誘導型の変更を実装する。
• 同時密度の滑らかさおよび条件付き分散共分散行列の構造に基づいて、収束速度を導出する。
• 行列の構造（例：スパarsity、低ランク）が推定精度および収束速度に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 X, Y の同時密度関数の滑らかさに関する仮定の下で、カーネルベースのプラグイン推定量の Cov(E[X|Y]) の収束速度は何か？
• RQ2 高次元設定は、条件付き分散共分散行列推定量の一貫性にどのように影響するか？
• RQ3 Cov(E[X|Y]) のどのような構造的性質が推定量の収束速度に影響を与えるか？
• RQ4 正則化は、高次元状況における一貫性を改善できるか？
• RQ5 バンド幅の選択およびカーネルスムージングは、推定プロセスにおけるバイアスと分散にどのように影響するか？

主な発見

• 推定量の収束速度は、(X, Y) の同時密度の滑らかさに依存する。
• 高次元設定では、元の推定量は一貫性を示さない可能性があり、構造的改善が不可欠である。
• 収束速度は、スパarsity や低ランク性などの、条件付き分散共分散行列の内蔵的構造に影響を受ける。
• 高次元における改善された推定量は、構造的仮定を組み込むことで一貫性を達成する。
• カーネルのバンド幅選択は、バイアスと分散のバランスを取る上で極めて重要な役割を果たす。
• 理論的分析により、滑らかな密度関数では、提案された推定量の収束速度が速くなることが確認された。