[论文解读] Nonparametric estimation in functional linear models with second order stationary regressors

Jan Johannes|ArXiv.org|Jan 27, 2009

Statistical Methods and Inference参考文献 25被引用 4

一句话总结

本文提出了一种具有傅里叶域阈值化的正交级数估计器，用于具有二阶平稳回归函数的函数线性模型，在多种正则性条件和协方差算子关联条件下实现了极小极大最优收敛速率。关键贡献是在Sobolev型光滑性及有限或无限平滑化协方差算子条件下，统一建立了预测与导数估计的极小极大理论。

ABSTRACT

We consider the problem of estimating the slope parameter in functional linear regression, where scalar responses Y1,...,Yn are modeled in dependence of second order stationary random functions X1,...,Xn. An orthogonal series estimator of the functional slope parameter with additional thresholding in the Fourier domain is proposed and its performance is measured with respect to a wide range of weighted risks covering as examples the mean squared prediction error and the mean integrated squared error for derivative estimation. In this paper the minimax optimal rate of convergence of the estimator is derived over a large class of different regularity spaces for the slope parameter and of different link conditions for the covariance operator. These general results are illustrated by the particular example of the well-known Sobolev space of periodic functions as regularity space for the slope parameter and the case of finitely or infinitely smoothing covariance operator.

研究动机与目标

• 为当回归函数为二阶平稳时，函数线性模型中斜率函数的非参数估计器进行开发。
• 在广泛的正则性空间和协方差算子关联条件下，建立该估计器的极小极大最优收敛速率。
• 统一性能度量，如均方预测误差与导数估计的均积分平方误差。
• 在Sobolev型光滑性空间和协方差算子的不同平滑行为下，证明所提估计器在极小极大意义下的最优性。

提出的方法

• 通过将斜率函数在正交基展开来构建正交级数估计器，其系数由数据估计得出。
• 在傅里叶域应用阈值化以稳定由病态协方差算子引起的反问题。
• 该方法依赖于通过正则化实现的谱截断，其中截断水平与阈值的选择旨在平衡偏差与方差。
• 理论分析采用加权风险的一般框架，风险以协方差算子的特征结构来衡量。
• 通过自适应真实斜率函数的光滑性及协方差算子特征值的衰减速率，证明该估计器可达到极小极大速率。
• 通过建立协方差算子特征值与斜率函数正则性之间新颖的关联条件，推导出理论保证。

实验结果

研究问题

• RQ1 在具有二阶平稳回归函数的函数线性模型中，估计斜率函数的极小极大最优收敛速率是什么？
• RQ2 与现有方法相比，具有傅里叶域阈值化的正交级数估计器在预测与导数估计方面的性能如何？
• RQ3 是否可采用单一估计策略在不同正则性空间和协方差算子类型下均实现极小极大最优性？
• RQ4 协方差算子特征值与斜率函数光滑性之间的关联条件对收敛速率有何影响？
• RQ5 在Sobolev型光滑性假设下，以及对于有限或无限平滑化协方差算子，收敛速率的行为如何？

主要发现

• 所提出的具有谱截断的正交级数估计器，在广泛的正则性空间和关联条件下，实现了极小极大最优收敛速率。
• 在Sobolev型光滑性及多项式衰减特征值条件下，最优速率为 $ n^{-1/(2p+2a+1)} $，其中 $ p $ 衡量光滑性，$ a $ 控制特征值衰减速率。
• 在特征值呈指数衰减的情况下，对于 $ s $ 阶导数估计，最优速率为 $ n^{-(2p-2s)/(2p+2a+1)} $，且 $ m_* o ( ext{log} hinspace n)^{1/(2a)} $。
• 该估计器在相同调参规则下对预测与导数估计均实现最优性能，统一了此前分离的分析。
• 通过基于特征函数展开及 $ ho $、$ riangle $ 与特征值之间关联条件的新型测试序列构造，推导出极小极大下界。
• 理论结果对未知协方差结构具有鲁棒性，因为该方法通过阈值化自适应数据驱动的特征结构。