[論文レビュー] Variance function estimation in high-dimensions

Mladen Kolar, James Sharpnack|arXiv (Cornell University)|May 21, 2012

Statistical Methods and Inference参考文献 23被引用数 4

ひとこと要約

本稿では、高次元の不均等分散回帰における平均および分散パラメータを同時に推定する非凸なペナルティ付き擬似尤度推定量 HIPPO を提案する。理論的保証とシミュレーションおよび実データを用いた実証的検証を通じて、$ p \gg n $ の場合でも真のスパースモデルと同等の推定速度を達成するオラクル性を確立する。

ABSTRACT

We consider the high-dimensional heteroscedastic regression model, where the mean and the log variance are modeled as a linear combination of input variables. Existing literature on high-dimensional linear regres- sion models has largely ignored non-constant error variances, even though they commonly occur in a variety of applications ranging from biostatis- tics to finance. In this paper we study a class of non-convex penalized pseudolikelihood estimators for both the mean and variance parameters. We show that the Heteroscedastic Iterative Penalized Pseudolikelihood Optimizer (HIPPO) achieves the oracle property, that is, we prove that the rates of convergence are the same as if the true model was known. We demonstrate numerical properties of the procedure on a simulation study and real world data.

研究の動機と目的

• 非定数誤差分散を伴う高次元回帰における分散推定のための理論的および手法的ツールの不足に対処すること。
• 高次元設定において、平均および対数分散を予測子の線形関数として同時にモデル化する統一的推定フレームワークを構築すること。
• 平均および分散パラメータ推定の両方について、オラクル性を証明することで、提案手法の理論的最適性を確立すること。
• シミュレーション研究および実世界のデータ解析を通じて、手法の優れた数値的性能を示すこと。

提案手法

• 平均および分散パラメータの共同推定のための非凸なペナルティ付き擬似尤度アプローチである Heteroscedastic Iterative Penalized Pseudolikelihood Optimizer (HIPPO) を提案する。
• 正の分散を保証し、複数のオーダーの大きさにわたる不均等分散を扱うために、対数分散を予測子の線形関数としてモデル化する。
• $ \ell_1 $-ペナルティよりも推定精度および変数選択の一貫性を向上させるために、凸でないペナルティ（例：SCAD や MCP）を用いる。
• 反復的重み付けと擬似尤度最適化を用い、平均および分散パラメータの推定を交互に実行する。
• 真のモデルがスパース（$ s \ll p $）であると仮定したもとで、高次元漸近理論を活用する。
• 集中不等式およびランダム行列理論を用いて推定誤差をバインドし、収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 高次元の不均等分散回帰において、平均および分散パラメータの共同推定手順はオラクル性を達成できるか？
• RQ2 非定数分散下での変数選択および推定精度の観点から、HIPPO は既存手法と比較してどのように性能を発揮するか？
• RQ3 高次元設定における非凸ペナルティ下での平均および分散推定量の理論的収束速度は何か？
• RQ4 $ p \gg n $ であり、誤差分散が不均等分散である状況下でも、本手法は変数選択の一貫性および推定効率性を維持できるか？
• RQ5 複雑な分散構造を有する実世界のデータに対して、HIPPO はどの程度の性能を示すか？

主な発見

• HIPPO は、平均および分散パラメータ推定の両方においてオラクル性を達成しており、収束速度が真のスパースモデルと一致する。
• $ \hat{\bm{\beta}} $ および $ \hat{\bm{\theta}} $ の推定誤差は、$ \mathcal{O}(\|\hat{\bm{\theta}} - \bm{\theta}\|_2 \exp(C\sqrt{\log n}) \log n) $ で抑えられ、これはチューニングパラメータ $ \lambda $ に対して無視できるほど小さく、正しい変数選択が保証される。
• シミュレーションでは、平均二乗誤差および変数選択の正確性の両面で、既存手法を上回る優れた性能を示す。
• 理論的分析により、平均および分散パラメータの推定サポートが高確率で真のサポートと一致することが確認された。
• 実データの実証的結果から、HIPPO は平均および分散の両方に対して意味のある予測子を同定し、予測区間の精度を向上させた。
• 真のモデルがスパースである限り、$ p \gg n $ の高次元設定に対しても本手法はロバストである。