[论文解读] Asymptotics for penalized splines in generalized additive models

Takuma Yoshida, Kanta Naito|arXiv (Cornell University)|Aug 20, 2012

Statistical Methods and Inference参考文献 19被引用 5

一句话总结

本文通过Marx和Eilers提出的岭校正惩罚样条（RCPS）方法，建立了广义可加模型（GAMs）中惩罚样条估计量的渐近正态性、偏差与方差。该研究将先前结果扩展至广义可加混合模型（GAMMs）中的惩罚拟似然（PQL）拟合，证明了RCPS估计量在GAMs中的渐近正态性，为置信区间等统计推断提供了理论依据。

ABSTRACT

This paper discusses asymptotic theory for penalized spline estimators in generalized additive models. The purpose of this paper is to establish the asymptotic bias and variance as well as the asymptotic normality of the penalized spline estimators proposed by Marx and Eilers (1998). Furthermore, the asymptotics for the penalized quasi likelihood fit in mixed models are also discussed.

研究动机与目标

• 为广义可加模型（GAMs）中的惩罚样条估计量发展严谨的渐近理论，特别聚焦于Marx和Eilers（1998）提出的岭校正惩罚样条（RCPS）估计量。
• 将先前仅限于广义线性模型（GLMs）的渐近结果扩展至具有非高斯响应的更广泛的GAMs类别。
• 建立广义可加混合模型（GAMMs）中惩罚拟似然（PQL）拟合的渐近正态性，将惩罚样条与混合模型理论相联系。
• 为利用RCPS估计量构建平滑函数的近似置信区间提供理论支持。

提出的方法

• 采用岭校正惩罚样条（RCPS）估计量，通过在惩罚对数似然中增加岭惩罚项，确保海塞矩阵的可逆性。
• 应用Fisher评分算法高效计算RCPS估计量，避免在非高斯设定下使用迭代回访法。
• 使用B样条基函数表示未知平滑函数ηj(xj)，其中节点数Kn随样本量n增长。
• 通过分析平滑参数λn与岭惩罚参数γn对估计量分布的影响，推导渐近偏差与方差。
• 通过估计方程的二阶泰勒展开及在正则条件下渐近分布近似，建立渐近正态性。
• 通过PQL方法将惩罚样条平滑与混合模型相联系，利用惩罚样条的混合模型表示进行理论分析。

实验结果

研究问题

• RQ1 在平滑参数与节点位置满足正则条件时，广义可加模型（GAMs）中的岭校正惩罚样条（RCPS）估计量是否具有渐近正态性？
• RQ2 RCPS估计量在GAMs中的渐近偏差与方差为何？其如何依赖于平滑参数λn与节点数Kn？
• RQ3 广义可加混合模型（GAMMs）中的惩罚拟似然（PQL）拟合是否可证明为渐近正态？其极限分布为何？
• RQ4 GAMs中RCPS估计量的渐近性质如何推广现有广义线性模型（GLMs）中的结果？
• RQ5 在GAM中，多个协变量的估计平滑函数ηj(xj)的联合渐近分布为何？各分量间的依赖性如何影响推断？

主要发现

• 在λn与Kn满足适当条件时，GAMs中的RCPS估计量具有渐近正态性，极限分布以真实平滑函数ηj(xj)为中心。
• RCPS估计量的渐近偏差为oP(λnKn1−m/n)阶，其中m为样条惩罚的阶数，其依赖于真实函数的曲率与平滑参数。
• RCPS估计量的渐近方差与n−1成正比，且与B样条基函数及惩罚Fisher信息矩阵的逆矩阵的乘积成正比，受平滑参数缩放。
• 不同协变量上估计平滑函数ηj(xj)的联合渐近分布为多元正态分布，其交叉协方差为OP(n−1)阶，表明各分量渐近独立。
• GAMMs中惩罚拟似然（PQL）拟合具有渐近正态性，将PQL推断的理论有效性扩展至具有非高斯响应的加法模型。
• 理论结果支持在GAMs中为平滑函数构建近似置信区间，其覆盖概率在正则条件下收敛至名义水平。