[论文解读] Higher Order Estimating Equations for High-dimensional Models

James M. Robins, Lingling Li+3 more|PubMed|Dec 7, 2015

Statistical Methods and Inference被引用 4

一句话总结

本文提出了一种基于高阶影响函数的U统计量的高阶估计方程，用于在标准√n收敛速率失效的高维或非正则模型中估计泛函。该方法通过非线性、高阶估计函数平衡偏差与方差，在具有挑战性的半参数设定下实现了最优收敛速率。

ABSTRACT

We introduce a new method of estimation of parameters in semi-parametric and nonparametric models. The method is based on estimating equations that are <i>U</i>-statistics in the observations. The <i>U</i>-statistics are based on higher order influence functions that extend ordinary linear influence functions of the parameter of interest, and represent higher derivatives of this parameter. For parameters for which the representation cannot be perfect the method leads to a bias-variance trade-off, and results in estimators that converge at a slower than <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:msqrt><mml:mi>n</mml:mi></mml:msqrt> <mml:mtext>-rate</mml:mtext></mml:math> . In a number of examples the resulting rate can be shown to be optimal. We are particularly interested in estimating parameters in models with a nuisance parameter of high dimension or low regularity, where the parameter of interest cannot be estimated at <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:msqrt><mml:mi>n</mml:mi></mml:msqrt> <mml:mtext>-rate</mml:mtext></mml:math> , but we also consider efficient <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:msqrt><mml:mi>n</mml:mi></mml:msqrt> <mml:mtext>-estimation</mml:mtext></mml:math> using novel nonlinear estimators. The general approach is applied in detail to the example of estimating a mean response when the response is not always observed.

研究动机与目标

• 开发适用于高维或非正则半参数模型中泛函估计的方法，其中标准√n收敛速率估计器不可行。
• 解决低正则性或高维干扰参数模型中的偏差-方差权衡问题。
• 将经典估计方程理论从线性影响函数扩展至泛函的高阶导数。
• 在由于模型复杂性或不规则性而无法以√n速率估计感兴趣参数的设定下，实现最优收敛速率。

提出的方法

• 使用基于感兴趣泛函高阶影响函数构造的U统计量，这些高阶影响函数代表了泛函的高阶导数。
• 用非线性U统计量形式替代线性估计方程，以更好地控制非正则模型中的偏差。
• 采用形式为$\hat{\chi}_n = \chi(\hat{p}_n) + \mathbb{U}_n \chi_{\hat{p}_n} $的一步估计器，其中$\mathbb{U}_n$为阶数高于一的U统计量。
• 使用投影算子和退化U统计量分解来界定估计函数的二阶矩。
• 利用条件期望和正交性论证来控制高阶估计函数的方差。
• 应用切空间和影响函数理论，推导泛函的高阶近似，从而实现偏差校正。

实验结果

研究问题

• RQ1 高阶影响函数能否用于构造在非正则、高维模型中实现最优收敛速率的估计器？
• RQ2 阶数高于一的U统计量如何用于在半参数估计中平衡偏差与方差？
• RQ3 当模型具有低正则性或高维干扰参数时，估计泛函的最优收敛速率是什么？
• RQ4 在何种设定下，所提出的方法相较于标准√n收敛速率估计器具有更快的收敛速度？
• RQ5 如何利用非线性、高阶估计函数控制估计方程中的偏差项？

主要发现

• 所提出的高阶估计方程在非正则模型中收敛速率慢于√n，但在多个例子中证明该速率是最优的。
• 该方法成功处理了标准√n收敛速率估计失效的高维或不规则干扰参数模型。
• 基于高阶影响函数的U统计量的使用，相比线性估计方程，显著改善了估计器的偏差-方差权衡。
• 通过正交性和投影核范数推导出估计函数的二阶矩界，得到$O(R \varepsilon_n^4)$的误差界。
• 该方法适用于缺失数据下均值响应的估计，是半参数统计中的一个关键示例。
• 补充材料中的理论结果证实了在$m > 3$情况下估计器的速率最优性，将主定理扩展至高阶情形。