[论文解读] Divide and Conquer in Non-standard Problems and the Super-efficiency Phenomenon

Moulinath Banerjee, Cécile Durot+1 more|arXiv (Cornell University)|May 14, 2016

Advanced Statistical Methods and Models参考文献 21被引用 8

一句话总结

本文研究在具有立方根渐近性质的非标准问题（如等渗回归）中的分治估计。结果表明，合并子样本估计可得到一个渐近正态且方差可估计的合并估计量，其在点效率上优于全局估计量，但代价是均匀性能下降——表现出超效率现象。

ABSTRACT

We study how the divide and conquer principle --- partition the available data into subsamples, compute an estimate from each subsample and combine these appropriately to form the final estimator --- works in non-standard problems where rates of convergence are typically slower than $\sqrt{n}$ and limit distributions are non-Gaussian, with a special emphasis on the least squares estimator (and its inverse) of a monotone regression function. We find that the pooled estimator, obtained by averaging non-standard estimates across the mutually exclusive subsamples, outperforms the non-standard estimator based on the entire sample in the sense of pointwise inference. We also show that, under appropriate conditions, if the number of subsamples is allowed to increase at appropriate rates, the pooled estimator is asymptotically normally distributed with a variance that is empirically estimable from the subsample-level estimates. Further, in the context of monotone function estimation we show that this gain in pointwise efficiency comes at a price --- the pooled estimator's performance, in a uniform sense (maximal risk) over a class of models worsens as the number of subsamples increases, leading to a version of the super-efficiency phenomenon. In the process, we develop analytical results for the order of the bias in isotonic regression, which are of independent interest.

研究动机与目标

• 研究在具有非高斯极限和缓慢收敛速率的非标准统计问题中，分治策略的行为。
• 分析在等渗回归中，与全局估计相比，合并子样本估计是否能提高点推断效率。
• 研究在子样本数量增加时，合并估计量的渐近正态性及其方差估计。
• 考察点效率与均匀效率之间的权衡，特别是超效率现象的出现。

提出的方法

• 将完整样本划分为互不相交的子样本，并在每个子样本上计算单调回归函数的最小二乘估计量（LSE）。
• 通过简单平均将子样本层面的估计组合成合并估计量。
• 通过验证中心化子样本统计量之和的林德伯格条件，建立合并估计量的渐近正态性。
• 利用漂移布朗运动理论和等渗回归的极小化子表征，推导极限分布。
• 应用漂移过程极小化子与其广义累积上界之间的对偶关系，分析估计量的行为。
• 在立方根渐近框架下，推导等渗回归偏差的解析表达式，其本身具有独立研究价值。

实验结果

研究问题

• RQ1 在非标准问题中，合并子样本估计是否能相比全局估计提升点效率？
• RQ2 在子样本数量增加时，合并估计量是否能实现渐近正态性且其方差可基于子样本层面估计进行经验估计？
• RQ3 增加子样本数量对合并估计量的均匀风险有何影响？
• RQ4 随着子样本数量增加，合并估计量是否表现出均匀性能下降意义上的超效率？
• RQ5 在立方根渐近框架下，等渗回归中的偏差阶数为何？

主要发现

• 当子样本数量以适当速率增加时，基于子样本估计平均的合并估计量渐近服从正态分布，且其方差可从子样本层面估计中经验估计。
• 尽管全局估计量收敛速率较慢（立方根速率），合并估计量在点推断效率上仍优于全局估计量。
• 随着子样本数量增加，合并估计量在单调回归函数类上的均匀风险（最大风险）上升，表明其均匀性能下降。
• 本文建立了超效率现象的一个版本：点效率的提升以均匀行为的恶化为代价。
• 等渗回归中的偏差被证明为 $ N^{-1/3} $ 阶，且本文推导出该偏差的解析表达式，具有独立研究价值。
• 在正则性条件下，验证了中心化子样本统计量之和的林德伯格条件，确保了合并估计量的渐近正态性。