[论文解读] Boosting Functional Regression Models with FDboost

Sarah Brockhaus, David Rügamer+1 more|arXiv (Cornell University)|May 30, 2017

Statistical Methods and Inference参考文献 59被引用 11

一句话总结

本论文介绍了FDboost，一个R包，通过基于模型的提升方法实现灵活的高维功能回归建模，支持标量对函数、函数对标量以及函数对函数回归，采用均值、分位数和GAMLSS模型。通过在化石燃料光谱分析和生物电信号分析中的实际应用展示了其能力，提供诸如因子特定历史效应和通过重采样实现的稳健调参等高级功能。

ABSTRACT

The R add-on package FDboost is a flexible toolbox for the estimation of functional regression models by model-based boosting. It provides the possibility to fit regression models for scalar and functional response with effects of scalar as well as functional covariates, i.e., scalar-on-function, function-on-scalar and function-on-function regression models. In addition to mean regression, quantile regression models as well as generalized additive models for location scale and shape can be fitted with FDboost. Furthermore, boosting can be used in high-dimensional data settings with more covariates than observations. We provide a hands-on tutorial on model fitting and tuning, including the visualization of results. The methods for scalar-on-function regression are illustrated with spectrometric data of fossil fuels and those for functional response regression with a data set including bioelectrical signals for emotional episodes.

研究动机与目标

• 开发一个全面且用户友好的R包，用于通过基于模型的提升方法拟合多种功能回归模型。
• 解决高维功能数据在功能回归中变量选择与收缩的挑战。
• 将提升方法扩展至处理复杂的功能响应模型，包括历史效应和交互结构。
• 提供实用的工具用于模型调参、可视化以及通过自助法和稳定性选择进行不确定性量化。

提出的方法

• 使用基于模型的提升方法，通过迭代组合简单基学习器，最小化损失函数以估计功能回归模型。
• 为标量和功能协变量实现基学习器，采用适当的可识别性约束和光滑惩罚。
• 通过最小化不同的损失函数，支持均值回归、分位数回归和GAMLSS，实现对响应分布参数的灵活建模。
• 使用重采样技术（如k折交叉验证和留一主体法）进行模型调参和最优停止迭代估计。
• hmatrix对象通过时间受限积分将过去的功能协变量与当前响应关联，实现历史效应建模。
• 使用行向量张量积算子%X%和通过%A%-算子实现各向异性惩罚，对时间依赖效应建模因子特定历史效应。

实验结果

研究问题

• RQ1 如何有效将基于模型的提升方法适配于高维设置下标量和功能响应的功能回归建模？
• RQ2 FDboost在从功能预测变量（如光谱数据）预测标量结果（如热值）方面的表现如何？
• RQ3 FDboost能否对具有时间依赖性、交互作用和受试者特异性效应的复杂功能响应数据进行建模，例如受实验条件影响的肌电图（EMG）信号？
• RQ4 如何通过重采样技术在功能回归中实现最优模型调参和停止迭代？
• RQ5 FDboost在功能数据分析中在多大程度上支持高级建模功能，如因子特定历史效应和各向异性平滑？

主要发现

• FDboost成功使用化石燃料的光谱数据对标量对函数回归进行建模，在重采样后于200次提升迭代处达到最优停止。
• 该包能够对生物电信号数据拟合函数对标量和函数对函数回归模型，包括复杂的交互作用和历史效应。
• 使用15GB内存，在约75分钟内拟合了一个包含三重交互作用和受试者特异性效应的复杂模型，展示了其可扩展性。
• 通过hmatrix和%X%算子的使用，首次在功能回归中实现了因子特定历史效应，具有创新性。
• 使用留一主体法交叉验证的重采样提供了稳定的调参结果，最优停止迭代通过网格搜索估计为200次。
• 该包通过GAMLSS支持对所有分布参数的灵活建模，并通过自助法和稳定性选择实现不确定性量化。