[论文解读] Functional Linear Regression with Mixed Predictors

Daren Wang, Zifeng Zhao+2 more|arXiv (Cornell University)|Dec 1, 2020

Statistical Methods and Inference参考文献 60被引用 6

一句话总结

本文提出了一种功能性线性回归模型，通过在再生核希尔伯特空间（RKHS）中使用惩罚最小二乘估计器，联合处理功能性响应变量、功能性协变量以及高维向量预测变量。该模型结合了平滑性惩罚与组Lasso惩罚，实现了最小最大最优预测风险，并揭示了由平滑性与稀疏性共同决定的非参数与高维参数速率之间的相变现象。

ABSTRACT

We study a functional linear regression model that deals with functional responses and allows for both functional covariates and high-dimensional vector covariates. The proposed model is flexible and nests several functional regression models in the literature as special cases. Based on the theory of reproducing kernel Hilbert spaces (RKHS), we propose a penalized least squares estimator that can accommodate functional variables observed on discrete sample points. Besides a conventional smoothness penalty, a group Lasso-type penalty is further imposed to induce sparsity in the high-dimensional vector predictors. We derive finite sample theoretical guarantees and show that the excess prediction risk of our estimator is minimax optimal. Furthermore, our analysis reveals an interesting phase transition phenomenon that the optimal excess risk is determined jointly by the smoothness and the sparsity of the functional regression coefficients. A novel efficient optimization algorithm based on iterative coordinate descent is devised to handle the smoothness and group penalties simultaneously. Simulation studies and real data applications illustrate the promising performance of the proposed approach compared to the state-of-the-art methods in the literature.

研究动机与目标

• 开发一种灵活的函数型线性回归模型，以同时容纳函数型与高维向量型协变量。
• 解决在离散且可能不规则的网格上观测到函数型数据时，估计函数型回归系数的挑战。
• 在联合平滑性与稀疏性约束下，为预测风险建立有限样本理论保证。
• 设计一种高效的优化算法，以同时处理平滑性与组稀疏性惩罚。
• 通过模拟实验与实际应用（如众筹募资预测）展示该方法的优越性。

提出的方法

• 该模型在再生核希尔伯特空间（RKHS）中使用惩罚最小二乘估计器，以处理在离散点上观测到的函数型数据。
• 对双变量系数函数 $ A^* $ 施加平滑性惩罚，以确保函数型-函数型部分的平滑性。
• 对单变量系数函数 $ \beta_j^* $ 应用组Lasso型惩罚，以在高维向量预测变量中诱导稀疏性。
• 通过一种交替更新函数型与向量型系数估计的迭代坐标下降算法求解优化问题。
• 理论分析基于RKHS理论，推导了多余预测风险的有限样本界。
• 通过模拟实验与众筹平台的真实数据验证了该方法的稳健性与预测准确性。

实验结果

研究问题

• RQ1 如何将函数型线性回归扩展为同时建模函数型响应变量与函数型及高维向量型协变量？
• RQ2 当函数型系数中同时存在平滑性与稀疏性时，预测风险的最优收敛速率是什么？
• RQ3 平滑性与稀疏性之间的相互作用如何影响函数型回归中的最小最大预测风险？
• RQ4 能否设计一种高效的优化算法，以同时处理函数型回归中的平滑性与组稀疏性惩罚？
• RQ5 在真实世界数据上，该方法与最先进方法相比，在预测准确率与稳健性方面表现如何？

主要发现

• 所提出的估计器在联合平滑性与稀疏性约束下实现了最小最大最优多余预测风险。
• 识别出一种相变现象，其中最优多余风险取决于 $ A^* $ 的平滑性与 $ \beta_j^* $ 的稀疏性 $ \mathfrak{s} $。
• 非参数收敛速率为 $ O(T^{-c}) $，其中 $ c \approx 0.811 $，证实了次优但一致的速率。
• 高维参数收敛速率为 $ O(\mathfrak{s} \log p / T) $，$ \mathfrak{s} $ 的经验斜率为 $ 1.087 $，$ T $ 的经验斜率为 $ -1.012 $，证实了理论缩放关系。
• 在真实众筹数据的募资曲线预测中，该方法优于最先进方法（FDA、PFFR）。
• 迭代坐标下降算法收敛高效，能够同时处理两种惩罚，使该方法在真实数据集上具备实际可实施性。