[論文レビュー] Heterogeneity-aware and communication-efficient distributed statistical inference

Rui Duan, Yang Ning+1 more|arXiv (Cornell University)|Dec 20, 2019

Statistical Methods and Inference参考文献 30被引用数 9

ひとこと要約

本稿では、効率的スコア関数の密度比チルティングを導入することで、従来のスレーブ尤度法を拡張し、サイト固有のデータ分布を考慮した非同一性に配慮した通信効率の高い分散推定手法を提案する。この手法は、最小限の通信量で漸近的に効率的な推定を達成し、特定の条件下ではクラーメル・ラオ低減を達成する。また、サイト数と各サイトの標本サイズの両方が無限大に発散する二インデックス漸近枠組みにおいても理論的保証を維持する。

ABSTRACT

In multicenter research, individual-level data are often protected against sharing across sites. To overcome the barrier of data sharing, many distributed algorithms, which only require sharing aggregated information, have been developed. The existing distributed algorithms usually assume the data are homogeneously distributed across sites. This assumption ignores the important fact that the data collected at different sites may come from various sub-populations and environments, which can lead to heterogeneity in the distribution of the data. Ignoring the heterogeneity may lead to erroneous statistical inference. In this paper, we propose distributed algorithms which account for the heterogeneous distributions by allowing site-specific nuisance parameters. The proposed methods extend the surrogate likelihood approach to the heterogeneous setting by applying a novel density ratio tilting method to the efficient score function. The proposed algorithms maintain the same communication cost as the existing communication-efficient algorithms. We establish a non-asymptotic risk bound for the proposed distributed estimator and its limiting distribution in the two-index asymptotic setting which allows both sample size per site and the number of sites to go to infinity. In addition, we show that the asymptotic variance of the estimator attains the Cramér-Rao lower bound when the number of sites is in rate smaller than the sample size at each site. Finally, we use simulation studies and a real data application to demonstrate the validity and feasibility of the proposed methods.

研究の動機と目的

• 異なるサブ集団や環境に起因する現実世界のデータ非同一性を考慮しない既存の分散アルゴリズムが、サイト間で同一独立同一分布（i.i.d.）を仮定するという制限を抱えていることに対処する。
• データ分布の非同一性を考慮しつつ、通信コストを低く抑えることができる分散推定フレームワークの開発。
• サイト固有のヌイズパラメータを組み込み、個別データの共有を必要とせずに、非同一設定へのスレーブ尤度法の拡張。
• 両方のインデックス（サイト数と各サイトの標本サイズ）が無限大に発散する二インデックス漸近的枠組みにおいて、提案推定量の非漸近的リスクバウンドと漸近的分布の確立。

提案手法

• 効率的スコア関数に新たな密度比チルティング法を適用し、スレーブ尤度法を拡張することで、非同一性に配慮したスレーブ効率的スコア関数を提案する。
• 個別データの共有を必要とせず、臨床サイト間の分布差をサイト固有のヌイズパラメータでモデル化する。
• 局所尤度微分と逆共分散補正を組み合わせた、局所スコア関数と要約統計量のみを用いて、推定量を推定方程式の根として構築する。
• 通信コストを従来の通信効率の良い手法と同等に保ち、他のサイトからの局所スコア関数と要約統計量のみを交換する。
• サイト数と各サイトの標本サイズが無限大に発散する二インデックス漸近枠組みを適用する。
• 高確率事象における集中不等式とモーメントバウンドを用いて理論的保証を導出する。これにより、一貫性と効率性を確立する。

実験結果

リサーチクエスチョン

• RQ1 サイト間で顕著な分布的非同一性が見られる状況下でも、分散推定手法が効率性と正確性を維持できるか？
• RQ2 個別データの共有を伴わずに、サイト固有のヌイズパラメータを通信効率の良い枠組みに統合する方法は何か？
• RQ3 提案手法が、非同一データ下で推定分散のクラーメル・ラオ低減に達成できるか？
• RQ4 サイト数と各サイトの標本サイズの両方が増加する際、推定量の非漸近的リスク行動はいかなるものか？
• RQ5 非同一性下の有限標本において、本手法は標準的な平均化法やスレーブ尤度法と比較してどのように性能を発揮するか？

主な発見

• 提案推定量は、非漸近的リスクバウンドを達成し、その収束速度は $ O(1/K^4n^4) + O(1/n^8) $ となる。ここで $ K $ はサイト数、$ n $ は1サイトあたりの標本サイズである。
• サイト数が1サイトあたりの標本サイズよりも遅い速度で増加する場合、推定量の漸近的分布は正規分布であり、分散はクラーメル・ラオ低減と等しい。
• 本手法は、従来の通信効率の良いアルゴリズムと同一の通信コストを維持しており、他のサイトからの局所スコア関数と要約統計量のみを必要とする。
• 理論的分析により、個別サイトの標本サイズが小さくても、二インデックス漸近枠組み下で推定量が一貫性と効率性を示すことが確認された。
• シミュレーション研究および実データ応用により、本手法が非同一性下で平均化法や標準的スレーブ尤度法を上回ることを示した。
• 効率的スコア関数に密度比チルティングを組み込むことで、単一のスコア関数に基づく手法と比較して、推定精度が著しく向上した。