[논문 리뷰] Heterogeneity-aware and communication-efficient distributed statistical inference

Rui Duan, Yang Ning외 1명|arXiv (Cornell University)|2019. 12. 20.

Statistical Methods and Inference참고 문헌 30인용 수 9

한 줄 요약

이 논문은 효율적 점수 함수의 밀도 비율 기울임을 통해 기존의 대체 우도 접근법을 확장하여 현장별 데이터 분포를 고려하는 이질성 인식형, 통신 효율적인 분산 추론 방법을 제안한다. 이 방법은 최소한의 통신으로 점 渐진 효율적 추정을 달성하며, 특정 조건 하에서 크래머-라오 하한을 도달하고, 동시에 현장 수와 각 현장의 표본 크기가 모두 증가하는 이중 인덱스 점점 증가하는 프레임워크에서 이론적 보장을 유지한다.

ABSTRACT

In multicenter research, individual-level data are often protected against sharing across sites. To overcome the barrier of data sharing, many distributed algorithms, which only require sharing aggregated information, have been developed. The existing distributed algorithms usually assume the data are homogeneously distributed across sites. This assumption ignores the important fact that the data collected at different sites may come from various sub-populations and environments, which can lead to heterogeneity in the distribution of the data. Ignoring the heterogeneity may lead to erroneous statistical inference. In this paper, we propose distributed algorithms which account for the heterogeneous distributions by allowing site-specific nuisance parameters. The proposed methods extend the surrogate likelihood approach to the heterogeneous setting by applying a novel density ratio tilting method to the efficient score function. The proposed algorithms maintain the same communication cost as the existing communication-efficient algorithms. We establish a non-asymptotic risk bound for the proposed distributed estimator and its limiting distribution in the two-index asymptotic setting which allows both sample size per site and the number of sites to go to infinity. In addition, we show that the asymptotic variance of the estimator attains the Cramér-Rao lower bound when the number of sites is in rate smaller than the sample size at each site. Finally, we use simulation studies and a real data application to demonstrate the validity and feasibility of the proposed methods.

연구 동기 및 목표

• 다양한 하위집단과 환경으로 인한 실제 세계의 데이터 이질성을 반영하지 못하는 기존 분산 알고리즘의 한계를 해결하기 위해, 각 현장 간에 동일한 분포를 가진 데이터를 가정하는 것에서 벗어나기 위해.
• 이질적인 데이터 분포 하에서도 정확한 매개변수 추정을 가능하게 하면서도 통신 비용을 최소화하는 분산 추론 프레임워크를 개발하기 위해.
• 현장별 부수적 매개변수를 통합하여 이질적 환경으로까지 확장된 대체 우도 접근법을 확장하고 추정 효율성을 향상시키기 위해.
• 이중 인덱스 점점 증가하는 점근적 프레임워크에서 제안된 추정기의 비점근적 위험 경계와 극한 분포를 수립하기 위해.

제안 방법

• 효율적 점수 함수에 새로운 밀도 비율 기울임 방법을 적용하여 대체 효율적 점수 함수를 제안함으로써 이질성 인식형 추론을 가능하게 한다.
• 개별 수준의 데이터 공유가 필요 없이 현장별 부수적 매개변수를 사용하여 임상 현장 간 분포 차이를 모델링한다.
• 국소 우도 미분과 역공분산 조정을 조합한 대체 추정 방정식의 근으로 추정기를 구성한다.
• 국소 점수 함수와 다른 현장의 요약 통계만을 교환함으로써 기존의 통신 효율적 방법과 동일한 통신 비용을 유지한다.
• 현장 수와 각 현장의 표본 크기가 모두 무한대가 되는 이중 인덱스 점점 증가하는 점근적 프레임워크를 적용한다.
• 높은 확률 사건 하에서의 농도 부등식과 모멘트 경계를 사용하여 일致성과 효율성을 입증하는 이론적 보장을 도출한다.

실험 결과

연구 질문

• RQ1 현장 간 데이터 분포의 심각한 이질성이 존재할 경우, 분산 추론 방법이 효율성과 정확성을 유지할 수 있는가?
• RQ2 개별 수준의 데이터 공유 없이 현장별 부수적 매개변수를 통신 효율적인 프레임워크에 어떻게 통합할 수 있는가?
• RQ3 제안된 방법이 이질적 데이터 하에서 추정 분산의 크래머-라오 하한을 도달하는가?
• RQ4 현장 수와 각 현장의 표본 크기가 모두 증가함에 따라 추정기의 비점근적 위험 행동은 어떻게 되는가?
• RQ5 이질성 하에서 유한 표본에서 제안된 방법이 표준 평균화 및 대체 우도 방법과 비교하여 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 추정기는 K가 현장 수이고 n이 현장당 표본 크기일 때, 위험 경계가 $ O(1/K^4n^4) + O(1/n^8) $ 의 속도로 감소하는 비점근적 위험 경계를 달성한다.
• 현장 수가 현장당 표본 크기보다 느린 속도로 증가할 경우, 추정기의 극한 분포는 점점 정규분포를 띠며, 분산이 크래머-라오 하한과 동일하다.
• 기존의 통신 효율적 알고리즘과 동일한 통신 비용을 유지하며, 다른 현장의 국소 점수 함수와 요약 통계만을 교환한다.
• 이론적 분석을 통해, 개별 현장의 표본 크기가 작더라도 이중 인덱스 점점 증가하는 점근적 프레임워크 하에서 추정기가 일치성과 효율성을 확보함을 확인한다.
• 시뮬레이션 연구와 실제 데이터 응용을 통해, 이질성 하에서 평균화 및 표준 대체 우도 접근법보다 본 방법이 타당성과 우수성을 입증한다.
• 효율적 점수 함수에 밀도 비율 기울임을 적용함으로써, 단순히 점수 함수에 기반한 방법에 비해 추정 정확도가 크게 향상된다.