[论文解读] Asymptotic Equivalence for Nonparametric Regression

Ion Grama, Michael Nussbaum|arXiv (Cornell University)|Dec 19, 2024

Statistical Methods and Inference参考文献 15被引用 38

一句话总结

该论文在正则性假设下，具有非高斯噪声的非参数回归模型在渐近意义上通过与Fisher信息相关的方差稳定化变换 Gamma(��) 函数，将其等价于高斯非参数回归模型。

ABSTRACT

We consider a nonparametric model $\mathcal{E}^{n},$ generated by independent observations $X_{i},$ $i=1,...,n,$ with densities $p(x,θ_{i}),$ $i=1,...,n,$ the parameters of which $θ_{i}=f(i/n)\in Θ$ are driven by the values of an unknown function $f:[0,1] ightarrow Θ$ in a smoothness class. The main result of the paper is that, under regularity assumptions, this model can be approximated, in the sense of the Le Cam deficiency pseudodistance, by a nonparametric Gaussian shift model $Y_{i}=Γ(f(i/n))+\varepsilon _{i},$ where $\varepsilon_{1},...,\varepsilon _{n}$ are i.i.d. standard normal r.v.'s, the function $Γ(θ):Θ ightarrow \mathrm{R}$ satisfies $Γ^{\prime}(θ)=\sqrt{I(θ)}$ and $I(θ)$ is the Fisher information corresponding to the density $p(x,θ).$

研究动机与目标

• 激发对具有非高斯噪声的非参数回归模型与高斯移位模型之间渐近等价性的研究。
• 提出一个通用的参量族正则性框架并推导渐近等价性的充分条件。
• 展示一个局部到全局的全球化策略，将局部高斯近似推广到完整的非参数模型。
• 将方差稳定化变换 〃 和该函数与参数族中的费舍信息联系起来。
• 提供具体示例来说明理论的适用范围，包括定位模型和指数族模型。

提出的方法

• 将由 Hölder 球中的光滑函数 f 与参数密度 p(x,\u001b) 驱动的非参数模型进行表述。
• 建立局部高斯近似：Y_i^n = h(i/n) + I(f(i/n))^{-1/2} \u001b_i，其中 \u001b_i 独立同分布的正态噪声。
• 证明对高斯移位模型的全局渐近等价性：Y_i = Gamma(f(i/n)) + \u001b_i，其中 Gamma'(\u001b)=sqrt(I(\u001b))。
• 使用局部到全球全球化方案，结合分块近似和似然过程的 Hungarian 构造。
• 发展一个通用的局部非参理论（LASE），给出非参数和高斯试验之间的赫林距离控制。
• 应用正则性假设（R1-R3）和增长条件（G1-G2）以确保渐近等价性。

实验结果

研究问题

• RQ1 随着样本量增加，具有非高斯噪声的非参数回归模型是否可以被高斯移位模型近似？
• RQ2 关于密度 p(x,\u001b) 与费舍尔信息的哪些正则性条件能保证渐近等价性？
• RQ3 方差稳定化变换 Gamma 在该等价性中如何与费舍信息相关？
• RQ4 局部高斯近似是否可以在时间和函数空间上全局化以得到全局等价性？
• RQ5 有哪些具体例子（例如定位模型、指数族模型）可以说明该理论？

主要发现

• 在 beta > 1/2 时，具有密度 p(x,f(t)) 的非参数模型在渐近意义上等价于高斯移位模型，其形式为 Y_i = Gamma(f(i/n)) + epsilon_i。
• Gamma'(\u001b) = sqrt(I(\u001b)) 其中 I(\u001b) 是 p(x,\u001b) 的费舍尔信息。
• 局部高斯近似在 Hölder 类 Sigma^beta 中对 f 均匀成立，并且可以全局化到完整的非参数类别。
• 在定位模型中，Gamma(θ) = \u001b，得到了一个简单的高斯回归，其噪声按费舍尔信息缩放。
• 指数族以及伯努利、高斯尺度和泊松的示例通过显式的 Gamma 映射说明渐近等价性的范围。
• 该理论解释了方差稳定化变换在建立等价高斯模型时自然出现的原因。