[论文解读] Communication-efficient Distributed Estimation and Inference for Transelliptical Graphical Models

Pan Xu, Lü Tian+1 more|arXiv (Cornell University)|Dec 29, 2016

Target Tracking and Data Fusion in Sensor Networks参考文献 15被引用 4

一句话总结

该论文提出了一种通信高效的分布式方法，用于估计和推断转换椭球图形模型中的潜在精度矩阵。通过将数据分布在 m 台机器上，对本地估计器进行去偏处理，并在主控机器上通过平均和硬阈值化聚合，该方法在 m ≲ min{N log d/d, √(N/(s² log d))} 时达到与集中式估计相同的统计速率，其中 s 为精度矩阵的稀疏度。该方法适用于高斯分布、高斯拷贝（Gaussian copula）和椭球图形模型作为特例。

ABSTRACT

We propose communication-efficient distributed estimation and inference methods for the transelliptical graphical model, a semiparametric extension of the elliptical distribution in the high dimensional regime. In detail, the proposed method distributes the $d$-dimensional data of size $N$ generated from a transelliptical graphical model into $m$ worker machines, and estimates the latent precision matrix on each worker machine based on the data of size $n=N/m$. It then debiases the local estimators on the worker machines and send them back to the master machine. Finally, on the master machine, it aggregates the debiased local estimators by averaging and hard thresholding. We show that the aggregated estimator attains the same statistical rate as the centralized estimator based on all the data, provided that the number of machines satisfies $m \lesssim \min\{N\log d/d,\sqrt{N/(s^2\log d)}\}$, where $s$ is the maximum number of nonzero entries in each column of the latent precision matrix. It is worth noting that our algorithm and theory can be directly applied to Gaussian graphical models, Gaussian copula graphical models and elliptical graphical models, since they are all special cases of transelliptical graphical models. Thorough experiments on synthetic data back up our theory.

研究动机与目标

• 解决在单台机器无法处理的高维大数据分布式环境中进行高维精度矩阵估计的挑战。
• 开发一种方法，在最小化机器间通信成本的同时，保持与集中式估计相当的统计效率。
• 将现有推断技术——特别是去偏和置信区间构建——扩展至半参数转换椭球图形模型的分布式设置。
• 建立理论保证，表明在对机器数量和数据规模的温和条件下，分布式估计器可达到与集中式估计器相同的收敛速率。

提出的方法

• 将来自转换椭球图形模型的 N 个独立同分布的 d 维样本分布到 m 个工作机器上，每台机器处理 n = N/m 个样本。
• 每台工作机器使用其子集数据计算精度矩阵的局部 CLIME 估计器。
• 对局部估计器应用去偏处理，以校正估计偏差，从而实现有效的推断。
• 仅将去偏后的局部估计器（而非原始数据）传输至中央主控机器。
• 在主控机器上，通过平均和硬阈值化聚合去偏估计器，生成最终的全局估计器。
• 理论分析表明，在对 m 和 N 的温和条件下，聚合估计器可达到与集中式估计器相同的统计速率。

实验结果

研究问题

• RQ1 是否可以通过一种分布式算法，在最小通信开销下实现与集中式估计相同的统计效率，用于转换椭球图形模型？
• RQ2 在何种最大机器数 m 下，分布式估计器仍能保持集中式估计器的最优收敛速率？
• RQ3 所提出的方法如何处理超出高斯假设的非高斯、重尾或半参数依赖结构？
• RQ4 去偏与聚合框架能否扩展至分布式环境中的假设检验和置信区间构建等推断任务？
• RQ5 在高维稀疏精度矩阵的分布式估计中，通信与精度之间的理论权衡关系如何？

主要发现

• 所提出的分布式估计器在适当条件下达到与集中式估计器相同的统计速率，误差界为 O(√(log d / N))。
• 只要机器数量满足 m ≲ min{N log d / d, √(N / (s² log d))}，该方法即可保持最优性能，其中 s 为精度矩阵的最大列稀疏度。
• 理论分析证实，与传输原始数据相比，通信成本显著降低，同时保持了统计精度。
• 每台工作机器上的去偏步骤有效消除了正则化引入的偏差，从而支持有效推断。
• 该方法可作为高斯分布、高斯拷贝和椭球图形模型的特例，适用于转换椭球模型。
• 在合成数据上的实验结果验证了理论发现，理论与实践在估计精度和通信效率方面表现出高度一致。