[論文レビュー] Asymptotics for penalized spline estimators in quantile regression

Takuma Yoshida|arXiv (Cornell University)|Sep 6, 2012

Statistical Methods and Inference参考文献 8被引用数 3

ひとこと要約

本稿では、差分ペナルティを用いた低ランクBスプラインモデルを用いた分位数回帰におけるペナルティ付きスプライン推定量の漸近正規性を確立する。モデルバイアスとペナルティ由来バイアスを分析することで、正則性条件の下で推定量が正規分布に収束することを示し、バイアス項の収束速度は $ O(n^{-(p+1)/(2p+3)}) $ である。

ABSTRACT

Quantile regression predicts the $τ$-quantile of the conditional distribution of a response variable given the explanatory variable for $τ\in(0,1)$. The aim of this paper is to establish the asymptotic distribution of the quantile estimator obtained by penalized spline method. A simulation and an exploration of real data are performed to validate our results.

研究の動機と目的

• ペナルティ付きスプライン推定量の分位数回帰における漸近的分布を確立し、理論的理解の空白を埋める。
• Bスプライン近似由来のバイアスと差分ペナルティ由来のバイアスという2つのバイアス源を分析・定量する。
• 設計および誤差構造に関する正則性条件の下で、ペナルティ付きスプライン分位数推定量の漸近正規性を導出する。
• シミュレーションおよび実データ解析を通じて理論的結果の妥当性を検証し、実用的応用可能性を示す。
• 滑らかさと外れ値に対してロバストな性質を有するスムージングスプラインの計算効率が高く、同等の滑らかさを実現する代替手法を提供する。

提案手法

• 条件付き分位数関数 $ \eta_\tau(x) $ の近似に低ランクBスプライン基底展開を用い、$ p $ 次のBスプライン基底関数 $ B_k^{[p]}(x) $ を使用する。
• 凸損失関数にチェック関数 $ \rho_\tau $ と2階差分行列 $ D_m $ を含む差分ペナルティ項を組み合わせた、ペナルティ付きスプライン推定量を定義する。
• 効率的な推定量計算のため、ペナルティ付き反復加重最小二乗法（PIRLS）を適用する。
• 確率的項 $ U_{1n}(\boldsymbol{\delta}) $、経験過程項 $ U_{2n}(\boldsymbol{\delta}) $、ペナルティ項 $ U_{3n}(\boldsymbol{\delta}) $ の連合的挙動を分析することで、漸近的分布を導出する。
• 制約行列と $ G(\tau) $ に依存する分散を有する、平均がゼロの正規分布への収束を示すことにより、漸近正規性を確立する。
• Bスプラインの微分の性質と係数ベクトル $ \mathbf{b}^*(\tau) $ の漸近的挙動を用いて、バイアス項 $ b^\lambda_\tau(x) $ のオーダーを導出する。

実験結果

リサーチクエスチョン

• RQ1 Bスプライン基底と差分ペナルティを用いた分位数回帰におけるペナルティ付きスプライン推定量の漸近的分布は何か？
• RQ2 Bスプライン近似由来のバイアス（モデルバイアス）とペナルティ由来バイアス（ペナルティ由来バイアス）は、推定量の総体的漸近バイアスにどのように寄与するか？
• RQ3 バイアス項 $ b^\lambda_\tau(x) $ の収束速度は何か？また、標本サイズ $ n $、ノット数 $ K_n $、スプライン次数 $ p $ にどのように依存するか？
• RQ4 どのような条件下でペナルティ付きスプライン分位数推定量は漸近正規性を満たすか？
• RQ5 有限標本において、本手法は既存の非パラメトリック分位数回帰手法と比較してバイアスと分散の点でどのように異なるか？

主な発見

• ペナルティ付きスプライン分位数推定量は漸近的に正規分布に従い、$ \sqrt{n/K_n} \{ \hat{\eta}_\tau(x) - \eta^*_\tau(x) - b^\lambda_\tau(x) \} \stackrel{D}{\to} N(0, \Phi_\tau(x)) $ が成り立ち、ここで $ \Phi_\tau(x) = O(1) $ である。
• ペナルティ項由来の漸近バイアス $ b^\lambda_\tau(x) $ は $ O(n^{-(p+1)/(2p+3)}) $ のオーダーであり、スプライン次数 $ p $ と標本サイズ $ n $ に依存する。
• 推定量の収束速度は $ O(n^{-(p+1)/(2p+3)}) $ であり、正則性条件の下で非パラメトリック分位数回帰の最適レートと一致する。
• Bスプライン近似由来のバイアスは $ O(K_n^{-(p+1)}) $ のオーダーであり、ペナルティ由来バイアスは $ O(\lambda_n n^{-1} K_n^{1-m}) $ のオーダーであり、$ m = 2 $ で2階差分のときを想定する。
• 推定量の漸近的分散は $ \tau(1-\tau) $ に比例し、分位数回帰におけるチェック関数の既知の分散と整合的である。
• 理論的結果はシミュレーションおよび実データ解析により裏付けられ、提案手法の妥当性と実用性が確認された。