[论文解读] Heterogeneity-aware and communication-efficient distributed statistical inference

Rui Duan, Yang Ning+1 more|arXiv (Cornell University)|Dec 20, 2019

Statistical Methods and Inference参考文献 30被引用 9

一句话总结

该论文提出了一种异质性感知、通信高效的分布式推理方法，通过新颖的密度比倾斜法扩展有效得分函数的代理似然方法，以考虑各站点特有的数据分布。该方法在最小通信量下实现渐近效率估计，在特定条件下达到Cramér-Rao下界，并在站点样本量和站点数量均增长的双索引渐近框架下保持理论保证。

ABSTRACT

In multicenter research, individual-level data are often protected against sharing across sites. To overcome the barrier of data sharing, many distributed algorithms, which only require sharing aggregated information, have been developed. The existing distributed algorithms usually assume the data are homogeneously distributed across sites. This assumption ignores the important fact that the data collected at different sites may come from various sub-populations and environments, which can lead to heterogeneity in the distribution of the data. Ignoring the heterogeneity may lead to erroneous statistical inference. In this paper, we propose distributed algorithms which account for the heterogeneous distributions by allowing site-specific nuisance parameters. The proposed methods extend the surrogate likelihood approach to the heterogeneous setting by applying a novel density ratio tilting method to the efficient score function. The proposed algorithms maintain the same communication cost as the existing communication-efficient algorithms. We establish a non-asymptotic risk bound for the proposed distributed estimator and its limiting distribution in the two-index asymptotic setting which allows both sample size per site and the number of sites to go to infinity. In addition, we show that the asymptotic variance of the estimator attains the Cramér-Rao lower bound when the number of sites is in rate smaller than the sample size at each site. Finally, we use simulation studies and a real data application to demonstrate the validity and feasibility of the proposed methods.

研究动机与目标

• 解决现有分布式算法假设各站点数据独立同分布的局限性，该假设无法反映来自不同亚群体和环境的真实世界数据异质性。
• 开发一种分布式推理框架，在保持低通信成本的同时，准确估计异质数据分布下的参数。
• 通过引入站点特异性的冗余参数，将代理似然方法扩展至异质设置，以提升估计效率。
• 在双索引渐近框架下，为所提出的估计器建立非渐近风险界和极限分布。

提出的方法

• 通过将新颖的密度比倾斜方法应用于有效得分函数，提出代理有效得分函数，实现异质性感知的推理。
• 使用站点特异性的冗余参数来建模临床各站点之间的分布差异，而无需共享个体层面的数据。
• 将估计器构造为结合局部似然导数和逆协方差调整的代理估计方程的根。
• 通过仅交换本地得分函数和汇总统计量，保持与现有通信高效方法相同的通信成本。
• 采用双索引渐近框架，其中站点数量和每站点样本量均趋于无穷大。
• 利用高概率事件下的集中不等式和矩界推导理论保证，以确立一致性和效率。

实验结果

研究问题

• RQ1 当各站点数据表现出显著分布异质性时，分布式推理方法是否仍能保持效率和准确性？
• RQ2 如何在不共享个体层面数据的前提下，将站点特异性冗余参数整合进通信高效的框架中？
• RQ3 在异质数据条件下，所提出的方法是否能达到估计方差的Cramér-Rao下界？
• RQ4 当站点数量和每站点样本量同时增加时，估计器的非渐近风险行为如何？
• RQ5 在有限样本下，当存在异质性时，所提出方法与标准平均法和代理似然方法相比表现如何？

主要发现

• 所提出的估计器实现了非渐近风险界，其衰减速率为$ O(1/K^4n^4) + O(1/n^8) $，其中$ K $为站点数量，$ n $为每站点样本量。
• 当站点数量的增长速率慢于每站点样本量时，估计器的极限分布为渐近正态分布，其方差等于Cramér-Rao下界。
• 该方法保持了与先前通信高效算法相同的通信成本，仅需交换本地得分函数和来自其他站点的汇总统计量。
• 理论分析证实，在双索引渐近框架下，即使单个站点样本量较小，估计器仍具有一致性和效率。
• 模拟研究和真实数据应用表明，该方法在异质性条件下显著优于平均法和标准代理似然方法。
• 与仅基于得分函数的方法相比，使用带有密度比倾斜的有效得分函数显著提升了估计精度。