[論文レビュー] Partial Consistency with Sparse Incidental Parameters

Jianqing Fan, Runlong Tang+1 more|arXiv (Cornell University)|Oct 25, 2012

Statistical Methods and Inference参考文献 29被引用数 7

ひとこと要約

本稿は、スパースな付随パラメータを有する高次元線形モデルにおける罰則付き推定法を提案し、付随パラメータの不一致性にもかかわらず、構造的パラメータに対してオラクルに類似した一貫性を達成する。部分的一貫性を確立する：構造的パラメータは漸近正規性およびオラクル性を満たして一貫して推定されるが、付随パラメータは推定の一貫性ではなく選択の一貫性にとどまる。

ABSTRACT

Penalized estimation principle is fundamental to high-dimensional problems. In the literature, it has been extensively and successfully applied to various models with only structural parameters. As a contrast, in this paper, we apply this penalization principle to a linear regression model with a finite-dimensional vector of structural parameters and a high-dimensional vector of sparse incidental parameters. For the estimators of the structural parameters, we derive their consistency and asymptotic normality, which reveals an oracle property. However, the penalized estimators for the incidental parameters possess only partial selection consistency but not consistency. This is an interesting partial consistency phenomenon: the structural parameters are consistently estimated while the incidental ones cannot. For the structural parameters, also considered is an alternative two-step penalized estimator, which has fewer possible asymptotic distributions and thus is more suitable for statistical inferences. We further extend the methods and results to the case where the dimension of the structural parameter vector diverges with but slower than the sample size. A data-driven approach for selecting a penalty regularization parameter is provided. The finite-sample performance of the penalized estimators for the structural parameters is evaluated by simulations and a real data set is analyzed.

研究の動機と目的

• 付随パラメータが多数かつスパースであるが、構造的パラメータの推定という課題に取り組むこと。
• 付随パラメータのスパース性を活用する罰則付き推定フレームワークを構築すること。
• 高次元の付随パラメータ設定下で、構造的パラメータ推定量の理論的性質（一貫性および漸近正規性）を確立すること。
• 漸近的分布の複雑さを低減する2段階の罰則付き推定量を提案すること。
• 構造的パラメータの次元dが標本サイズnとともに増加する場合に、適切な発散レートの下でこの手法を拡張すること。

提案手法

• 構造的パラメータβ⋆とスパースな付随パラメータμ⋆を有する線形モデルに罰則付き最尤推定を適用し、スパース性を活用する。
• 罰則付き尤度関数を導出し、最適化によりβ⋆とμ⋆を推定する。罰則はμ⋆におけるスパース性を促進する。
• n → ∞およびd → ∞が制御されたレートで進行する中で、構造的パラメータ推定量β̂の漸近正規性およびオラクル性を確立する。
• 2段階推定手順を提案：まずμ⋆を罰則により推定し、次に選択されたサポートを用いてβ⋆を再推定することで、漸近的分散の複雑さを低減する。
• 交差検証または情報基準を用いたデータ駆動型の正則化パラメータ選択法を採用する。
• スパース性および設計行列のモーメントに関する仮定の下で、収束速度を導出するため、高次元漸近理論（濃縮不等式および行列ノルムの境界を含む）を用いる。

実験結果

リサーチクエスチョン

• RQ1 付随パラメータが高次元的かつスパースな場合、罰則付き推定は構造的パラメータの一致的かつ漸近正規的推定を達成できるか？
• RQ2 発散する数のスパースな付随パラメータが存在する状況下で、構造的パラメータの罰則付き推定量の漸近的性質は何か？
• RQ3 付随パラメータの罰則付き推定量は完全な一貫性を達成するのか、それとも選択の一貫性にとどまるのか？
• RQ4 2段階推定量は、1段階の罰則付き推定量と比較して、漸近的分布的挙動においてどのように推定の質を向上させるか？
• RQ5 構造的パラメータの次元dが標本サイズnとともに増加する場合に、適切なレート条件の下でこの手法を拡張可能か？

主な発見

• 構造的パラメータβ⋆の罰則付き推定量は、漸近正規性およびオラクル性を達成しており、これはμ⋆の真のスパースサポートが既知であるかのように推定できることを意味する。
• 付随パラメータ推定量μ̂⋆は、非ゼロ成分の正しく特定される選択の一貫性にとどまり、値の収束する推定の一貫性は達成しない。
• 2段階の罰則付き推定量β⋆は、より少ない可能な漸近的分布を持つため、信頼区間の構築や仮説検定に適している。
• d = o(n^{1/3}) の条件下で、推定量β̂は一貫しており、推定誤差の収束速度は√nである。
• d^9(log d)^2 = o(n) が成立する限り、dがnとともに増加する場合でも、この手法は有効であり、推定量は依然としてオラクル性を維持する。
• 有限標本のシミュレーションおよび実データ解析により、汚染やスパースな外れ値が存在する状況でも、β⋆の罰則付き推定量が通常最小二乗法を上回ることを確認した。