[论文解读] Doubly Distributed Supervised Learning and Inference with High-Dimensional Correlated Outcomes

Emily C. Hector, Peter X.‐K. Song|arXiv (Cornell University)|Jul 16, 2020

Gaussian Processes and Bayesian Inference参考文献 40被引用 9

一句话总结

本文提出了一种双重分布式监督学习框架，通过在数据块间分割高维相关结果和大规模样本量，实现可扩展的并行推断。通过结合块估计器的广义矩法（GMM）启发式元估计器，该方法在无需集中式数据存储的情况下实现了渐近高效的推断，克服了高维结果设置下的计算瓶颈。

ABSTRACT

This paper presents a unified framework for supervised learning and inference procedures using the divide-and-conquer approach for high-dimensional correlated outcomes. We propose a general class of estimators that can be implemented in a fully distributed and parallelized computational scheme. Modelling, computational and theoretical challenges related to high-dimensional correlated outcomes are overcome by dividing data at both outcome and subject levels, estimating the parameter of interest from blocks of data using a broad class of supervised learning procedures, and combining block estimators in a closed-form meta-estimator asymptotically equivalent to estimates obtained by Hansen (1982)'s generalized method of moments (GMM) that does not require the entire data to be reloaded on a common server. We provide rigorous theoretical justifications for the use of distributed estimators with correlated outcomes by studying the asymptotic behaviour of the combined estimator with fixed and diverging number of data divisions. Simulations illustrate the finite sample performance of the proposed method, and we provide an R package for ease of implementation.

研究动机与目标

• 解决在高维相关结果的监督学习中，标准方法不可行时面临的计算与统计挑战。
• 开发一种统一的、可并行化的框架，通过在结果和样本层面同时划分数据，以减轻计算负载。
• 为在固定和发散的数据划分数量下，分布式估计器提供理论依据。
• 通过整合块间依赖结构，将现有分而治之方法扩展至处理相关结果。
• 通过一种闭式解元估计器实现高效推断，该估计器模仿全数据GMM的效率，且无需数据集中化。

提出的方法

• 该方法将响应向量 Y 划分为低维子向量，并将样本随机划分为独立组，从而创建用于分布式分析的数据块。
• 使用一类通用的监督学习程序（如成对复合似然）在并行处理每个块，以估计局部参数。
• 通过基于估计函数的加权方案，利用类似GMM的元估计器结合块特定估计器，以考虑块间依赖性。
• 元估计器被推导为渐近等价于全数据GMM估计器的闭式解，避免了需将所有数据重新加载到单台服务器上的需求。
• 理论依据基于估计函数的渐近理论，无论数据划分数量固定或发散，均能建立收敛性。
• 该框架支持可扩展的分布式计算，并通过R包实现，便于在大数据环境中实际应用。

实验结果

研究问题

• RQ1 是否可在无需集中数据存储的情况下，通过分布式框架实现高维相关结果的渐近高效推断？
• RQ2 在有限样本中，双重分布式估计器与全数据GMM的性能相比如何？
• RQ3 块间依赖对组合估计器的效率与一致性有何影响？
• RQ4 随着样本量 N 和结果维度 M 增加，该方法的可扩展性如何？
• RQ5 该框架能否推广至超越特定模型的广泛监督学习程序类别？

主要发现

• 所提出的双重分布式估计器实现了与全数据GMM估计器的渐近等价性，确保了无需数据集中化的统计效率。
• 在正则条件下，即使数据划分数量发散，该方法仍保持一致性和渐近正态性。
• 模拟结果表明其在有限样本中表现良好，元估计器在偏差和方差方面与全数据GMM估计值高度接近。
• 通过在结果和样本层面同时实现并行处理，该框架显著降低了计算负担，提升了大规模 N 和高 M 情况下的可扩展性。
• 理论结果证实，组合估计器能有效处理块间依赖性，优于独立元估计方法。
• 提供了R包以促进实现，支持在Hadoop类分布式计算环境中部署。