[论文解读] A Partially Linear Framework for Massive Heterogeneous Data

Tianqi Zhao, Guang Cheng+1 more|arXiv (Cornell University)|Oct 30, 2014

Statistical Methods and Inference参考文献 50被引用 8

一句话总结

本文提出了一种针对大规模异质性数据的半参数模型，采用分而治之框架，结合核岭回归来估计跨子群体的公共特征，同时建模线性系数的异质性。关键贡献在于，所提出的公共参数聚合估计器在子群体数量的温和增长条件下，实现了Oracle效率——即达到已知异质性情况下的极小极大最优率。

ABSTRACT

We consider a partially linear framework for modelling massive heterogeneous data. The major goal is to extract common features across all sub-populations while exploring heterogeneity of each sub-population. In particular, we propose an aggregation type estimator for the commonality parameter that possesses the (non-asymptotic) minimax optimal bound and asymptotic distribution as if there were no heterogeneity. This oracular result holds when the number of sub-populations does not grow too fast. A plug-in estimator for the heterogeneity parameter is further constructed, and shown to possess the asymptotic distribution as if the commonality information were available. We also test the heterogeneity among a large number of sub-populations. All the above results require to regularize each sub-estimation as though it had the entire sample size. Our general theory applies to the divide-and-conquer approach that is often used to deal with massive homogeneous data. A technical by-product of this paper is the statistical inferences for the general kernel ridge regression. Thorough numerical results are also provided to back up our theory.

研究动机与目标

• 解决具有多个子群体且线性关系异质但非线性效应共有的大规模数据集的统计推断问题。
• 开发一种可扩展的分布式估计方法，在数据异质性存在的情况下仍保持统计最优性。
• 在分而治之设置下，实现对公共特征（非线性函数）和子群体特异性特征（变化的线性系数）的有效推断。
• 在非渐近与渐近两种情形下，为聚合估计器建立理论保证。
• 将核岭回归的理论结果扩展至支持大规模数据下半非参数模型中的推断。

提出的方法

• 提出一种半参数模型，其中 Y = X^T β_j + f_0(Z) + ε，f_0 在所有子群体中共享，而 β_j 按子群体变化。
• 使用核岭回归（KRR）以分布式方式估计公共函数 f_0 和子群体系数 β_j。
• 通过在所有子群体中对子估计器进行平均，构建公共参数的聚合估计器 β*。
• 通过将聚合的共性估计与各子群体的独立估计相结合，构建异质性参数的插补估计器。
• 在再生核希尔伯特空间（RKHS）中应用一种类似 Azuma 的不等式，以控制聚合过程中的平均余项。
• 利用经验过程理论和再生核希尔伯特空间（RKHS）技术（包括覆盖数与度量熵）建立理论界。

实验结果

研究问题

• RQ1 当子群体异质性未知且数据规模庞大时，能否在估计公共参数 f_0 时实现Oracle效率？
• RQ2 在非渐近条件下，公共参数的聚合估计器是否仍保持极小极大最优率？
• RQ3 当共性信息从数据中估计时，能否为异质性参数 β_j 构建有效的渐近推断？
• RQ4 在半非参数模型中，分而治之方法在何种理论条件下能保持统计效率？
• RQ5 当子群体数量相对于样本大小增长时，其增长速率如何才能不降低估计效率？

主要发现

• 公共参数的聚合估计器达到了非渐近极小极大最优界，其性能与已知所有 β_j 的Oracle估计器相当。
• 即使异质性未知，公共参数估计器的渐近分布也与Oracle估计器的渐近分布一致。
• 异质性参数 β_j 的插补估计器的渐近分布，与已知公共参数 f_0 时的分布相同。
• 通过希尔伯特空间中的Azuma型不等式，控制了聚合过程中的余项，其高概率界以 exp(−c log² n) 的速率衰减。
• 该理论框架支持半非参数模型中一般核岭回归的有效推断，扩展了先前的极小极大结果。
• 当子群体数量 s 相对于总样本量 N 慢速增长，且满足 s ≲ N^ψ（ψ > 0）时，该方法仍保持有效性。