[論文レビュー] Asymptotics for penalized splines in generalized additive models

Takuma Yoshida, Kanta Naito|arXiv (Cornell University)|Aug 20, 2012

Statistical Methods and Inference参考文献 19被引用数 5

ひとこと要約

この論文は、MarxとEilersが提唱したリッジ補正付きペナルティスプライン（RCPS）法を用いた一般化加法モデル（GAMs）におけるペナルティ付きスプライン推定量の漸近的正規性、バイアス、および分散を確立する。先行研究を拡張し、GAMsにおけるRCPS推定量の漸近的正規性と、一般化加法混合モデル（GAMMs）におけるペナルティ付き擬似尤度（PQL）推定の漸近的正規性を証明し、信頼区間などの推論に対する理論的裏付けを提供する。

ABSTRACT

This paper discusses asymptotic theory for penalized spline estimators in generalized additive models. The purpose of this paper is to establish the asymptotic bias and variance as well as the asymptotic normality of the penalized spline estimators proposed by Marx and Eilers (1998). Furthermore, the asymptotics for the penalized quasi likelihood fit in mixed models are also discussed.

研究の動機と目的

• 一般化加法モデル（GAMs）におけるペナルティ付きスプライン推定量の厳密な漸近的理論を構築すること、特にMarxとEilers（1998）が提唱したリッジ補正付きペナルティスプライン（RCPS）推定量に焦点を当てる。
• 従来、一般化線形モデル（GLMs）に限定されていた漸近的結果を、非正規応答を持つGAMsのより広いクラスへと拡張すること。
• 一般化加法混合モデル（GAMMs）におけるペナルティ付き擬似尤度（PQL）推定の漸近的正規性を確立し、ペナルティ付きスプラインと混合モデル理論を結びつけること。
• RCPS推定量を用いたGAMsにおけるスムーズ関数の近似信頼区間の構築に理論的支援を提供すること。

提案手法

• ヘッシアン行列の逆行列化を保証するためのリッジペナルティを追加したペナルティ付き対数尤度を最大化するリッジ補正付きペナルティスプライン（RCPS）推定量を用いる。
• 非正規分布の設定においても反復的バックフィットティングを回避できるよう、Fisherスコア法を適用してRCPS推定量を効率的に計算する。
• 未知のスムーズ関数ηj(xj)をBスプライン基底関数で表現し、ノット数Knを標本サイズnに従って増加させる。
• 平滑化パラメータλnとリッジペナルティγnが推定量の分布に与える影響を分析することで、漸近的バイアスと分散を導出する。
• 推定方程式の2次テイラー展開と正則性条件の下での漸近的分布近似を通じて、漸近的正規性を確立する。
• ペナルティ付きスプライン平滑化を混合モデル理論と結びつけるために、PQL法を用い、ペナルティ付きスプラインの混合モデル表現を理論的分析に活用する。

実験結果

リサーチクエスチョン

• RQ1 一般化加法モデル（GAMs）におけるリッジ補正付きペナルティスプライン（RCPS）推定量は、平滑化パラメータおよびノット配置に関する正則性条件下で漸近的正規性を満たすか？
• RQ2 GAMsにおけるRCPS推定量の漸近的バイアスと分散は何か？また、これらは平滑化パラメータλnとノット数Knにどのように依存するか？
• RQ3 一般化加法混合モデル（GAMMs）におけるペナルティ付き擬似尤度（PQL）推定は漸近的正規性を示すことができ、その極限分布は何か？
• RQ4 GAMsにおけるRCPS推定量の漸近的性質は、従来の一般化線形モデル（GLMs）における結果をどのように一般化するか？
• RQ5 GAMにおける複数の予測変数に関する推定スムーズ関数ηj(xj)の同時漸近的分布は何か？また、成分間の依存性は推論にどのように影響するか？

主な発見

• RCPS推定量は、λnおよびKnに関する適切な条件の下で、漸近的に正規分布に従い、真のスムーズ関数ηj(xj)を中心とする分布に収束する。
• RCPS推定量の漸近的バイアスは、mをスプラインペナルティの次数とするとき、oP(λnKn1−m/n)のオーダーであり、真の関数の曲率と平滑化パラメータに依存する。
• RCPS推定量の漸近的分散は、n−1に比例し、Bスプライン基底関数とペナルティ付きフィッシャー情報行列の逆行列の積に、平滑化パラメータでスケーリングされたものに比例する。
• 異なる予測変数に関する推定スムーズ関数ηj(xj)の同時漸近的分布は多変量正規分布であり、共分散行列のオーダーはOP(n−1)であるため、成分間の漸近的独立性が示される。
• GAMMsにおけるペナルティ付き擬似尤度（PQL）推定は漸近的に正規分布に従い、PQLに基づく推論の理論的妥当性が非正規応答を持つ加法モデルへと拡張される。
• 理論的結果により、GAMsにおけるスムーズ関数の近似信頼区間の構築が理論的に裏付けられ、正則性条件下で被覆確率が名目水準に収束することが示される。