[论文解读] A note on basis dimension selection in generalized additive modelling

Natalya Pya, Simon N. Wood|arXiv (Cornell University)|Feb 22, 2016

Fault Detection and Control Systems被引用 11

一句话总结

本文提出了两种计算效率高的方法，用于检查广义可加模型（GAMs）中基函数维数的充分性：一种基于残差差分的假设检验方法，以及一种残差重平滑方法。这两种方法在计算效率方面优于昂贵的GCV/REML基函数维数搜索方法，同时在选择合适基函数维数方面保持了相近的准确性，使其在常规模型检验中具有实际应用价值。

ABSTRACT

Two new approaches for checking the dimension of the basis functions when using penalized regression smoothers are presented. The first approach is a test for adequacy of the basis dimension based on an estimate of the residual variance calculated by differencing residuals that are neighbours according to the smooth covariates. The second approach is based on estimated degrees of freedom for a smooth of the model residuals with respect to the model covariates. In comparison with basis dimension selection algorithms based on smoothness selection criterion (GCV, AIC, REML) the above procedures are computationally efficient enough for routine use as part of model checking.

研究动机与目标

• 为解决在惩罚样条回归中基函数维数 $k$ 是否足够大以避免过度平滑的问题，缺乏实用且高效的方法这一问题。
• 开发计算轻量级的替代方案，以替代需多次调整 $k$ 值并重新拟合完整模型的繁琐方法，后者在实际应用中成本高昂。
• 评估所提出检验方法在准确性与计算效率方面相对于GCV和REML等既定标准的表现。
• 推动这些检验方法作为GAM模型诊断中的标准工具被广泛采用。

提出的方法

• 提出一种基于按平滑协变量排序的残差差分的假设检验方法，用于估计残差方差；该估计值与模型残差方差的比值（$\kappa = \phi_\Delta / \hat{\phi}$）可指示 $k$ 的充分性。
• 提出一种残差重平滑方法：使用更高的 $k$ 值对模型残差拟合新的平滑项，并通过判断其有效自由度是否超过某一阈值来判断 $k$ 是否不足。
• 利用偏差或残差平方和计算 $\phi_\Delta$，即基于协变量空间中邻近残差的局部方差估计。
• 利用 $\kappa$ 检验的 p 值判断 $k$ 是否过小，p 值较小则提示需要更大的基函数维数。
• 将两种所提检验方法与在 $k$ 值网格上对 GCV 或 REML 进行完整优化的方法进行比较，后者需要重复完整的模型重新拟合。
• 将方法应用于一元和二元平滑函数，包括正弦波和“凸起”函数，在不同样本量和 $k$ 值条件下进行测试。

实验结果

研究问题

• RQ1 基于残差差分的简单检验能否可靠检测出GAM中基函数维数 $k$ 是否过小？
• RQ2 使用更高的 $k$ 值对残差进行重平滑，是否可作为完整模型重新拟合的敏感且高效的基函数维数检验替代方法？
• RQ3 所提方法在性能和计算成本方面与基于GCV和REML的 $k$ 选择方法相比如何？
• RQ4 所提假设检验方法对不同类型平滑函数（包括高度振荡和单调函数）是否具有鲁棒性？
• RQ5 这些检验方法是否可无需GCV或REML优化 $k$ 的计算负担，而在实际中常规使用？

主要发现

• 基于残差差分的假设检验方法（$\kappa$）在选择合适 $k$ 方面表现与GCV和REML相当，但计算成本显著更低。
• 残差重平滑方法在性能上也与完整优化方法相当，仅需对单个平滑项进行重平滑，而无需完整模型重新拟合。
• 对于“凸起”函数和六周期正弦波，所有方法均选择 $k \geq 20$，表明 $k=10$ 对于振荡性函数不足。
• 假设检验方法倾向于选择比其他方法更小的 $k$ 值，表明其在检测 $k$ 不足时可能更为保守。
• REML优化有时会选择比实际需要更大的 $k$ 值，尤其在 $n=100$ 时，导致某些情况下均方误差（MSE）偏高。
• 随着平滑项数量的增加，所提方法的计算优势愈发明显，使其成为复杂GAM中常规使用的理想选择。