[논문 리뷰] Optimal Distributed Subsampling for Maximum Quasi-Likelihood Estimators with Massive Data

Jun Yu, HaiYing Wang외 2명|arXiv (Cornell University)|2020. 05. 21.

Statistical Methods and Inference참고 문헌 27인용 수 10

한 줄 요약

이 논문은 대량의 데이터 환경에서 최대 준우도 추정을 위한 최적의 포isson 하향 샘플링 방법을 제안하며, A- 및 L-최적성 기준 하에 유도된 비균일 샘플링 확률을 사용한다. 이 방법은 전체 데이터의 확률 계산을 피함으로써 분산 및 메모리 효율적인 계산을 가능하게 하며, 전체 데이터 방법에 비해 상당히 감소된 계산 비용으로 일致하고 점차적으로 정규분포를 따르는 추정량을 달성한다.

ABSTRACT

Nonuniform subsampling methods are effective to reduce computational burden and maintain estimation efficiency for massive data. Existing methods mostly focus on subsampling with replacement due to its high computational efficiency. If the data volume is so large that nonuniform subsampling probabilities cannot be calculated all at once, then subsampling with replacement is infeasible to implement. This paper solves this problem using Poisson subsampling. We first derive optimal Poisson subsampling probabilities in the context of quasi-likelihood estimation under the A- and L-optimality criteria. For a practically implementable algorithm with approximated optimal subsampling probabilities, we establish the consistency and asymptotic normality of the resultant estimators. To deal with the situation that the full data are stored in different blocks or at multiple locations, we develop a distributed subsampling framework, in which statistics are computed simultaneously on smaller partitions of the full data. Asymptotic properties of the resultant aggregated estimator are investigated. We illustrate and evaluate the proposed strategies through numerical experiments on simulated and real data sets.

연구 동기 및 목표

• 메모리 및 처리 능력 제약으로 인해 대량의 데이터 환경에서 전체 데이터 기반 준우도 추정이 계산적으로 불가능한 문제를 해결하기 위해.
• 모든 하향 샘플링 확률을 동시에 계산할 필요가 없도록 하는 포isson 하향 샘플링 프레임워크를 개발하여, 교체 기반 방법의 핵심 한계를 극복하기 위해.
• 최적의 포isson 하향 샘플링 하에 유도된 추정량의 이론적 성질—일致성 및 점근적 정규성—을 확립하기 위해.
• 데이터가 여러 블록이나 위치에 분산 저장된 환경에서의 분산 컴퓨팅 환경으로 방법을 확장하기 위해.
• 균일 샘플링 및 기존의 하향 샘플링 방법과 비교해 추정 정확도 및 계산 효율성에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 준우도 추정을 위한 A- 및 L-최적성 기준 하에 최적의 포isson 하향 샘플링 확률을 유도하며, 점근적 분산 또는 분산-공분산 행렬의 트레이스를 최소화한다.
• 전체 데이터 접근이 불가능한 상황에서 최적의 샘플링 확률을 계산하기 위해 피LOT 추정량을 사용하여 근사화하는 실용적인 알고리즘을 제안한다.
• 데이터 분할에서 독립적으로 하향 샘플을 선택하고 가중치 합산을 통해 결과를 집계하는 분산 하향 샘플링 프레임워크를 개발한다.
• 이중 단계 접근 방식을 적용: 먼저 데이터 블록에서 피LOT 파ram터를 추정하고, 그 추정치를 바탕으로 하향 샘플링 확률을 계산한다.
• 불균일 샘플링 확률을 보정하기 위해 호르비츠-트립스터 추정량을 적용한다.
• 시뮬레이션에서는 전체 데이터 QLE 계산을 위해 뉴턴-랍슨 방법을 사용하지만, 하향 샘플링은 반복적인 전체 데이터 최적화를 피한다.

실험 결과

연구 질문

• RQ1 메모리 제약으로 전체 데이터 접근이 불가능한 대량의 데이터 환경에서 비균일 확률을 갖는 포isson 하향 샘플링이 준우도 모델의 최적 추정 효율성을 달성할 수 있는가?
• RQ2 전체 데이터 접근이 불가능한 상황에서 최적의 하향 샘플링 확률을 메모리 제약 하에 효율적으로 계산할 수 있는가?
• RQ3 제안된 포isson 하향 샘플링 방식 하에 유도된 추정량의 이론적 성질—일치성 및 점근적 정규성—은 무엇인가?
• RQ4 데이터가 여러 파일에 분산 저장된 환경에서, 분산된 알고리즘의 성능은 전체 데이터 및 균일 샘플링 방법과 비교해 추정 정확도 및 계산 효율성 측면에서 어떻게 되는가?
• RQ5 다양한 데이터 접근 환경(예: RAM 대 하드디스크 기반 로딩)에서 추정 오차와 계산 비용 사이의 상충 관계는 어떠한가?

주요 결과

• MVc 방법은 압축된 피LOT 추정량을 사용함으로써, 특히 차원 수가 높을 경우 메모리 액세스 오버헤드가 감소하여 MV 방법보다 상당히 낮은 계산 시간을 기록한다.
• 500만 개의 관측치와 140차원을 가진 S5 케이스에서, 디스크 기반 데이터 로딩 조건 하에서 MVc 방법은 MV 방법 대비 약 10배의 계산 시간 감소를 기록했다.
• MVc 방법은 동일한 CPU 시간 동안 균일 하향 샘플링보다 더 낮은 평균제곱오차(MSE)를 기록했으며, 계산 시간이 길어질수록 성능 격차가 더욱 커졌다.
• 매개변수 추정치의 경험적 분포는 정규분포를 잘 따르며, 제안된 방법 하에 추정량의 점근적 정규성에 대한 지원을 제공한다.
• 모든 하향 샘플링 방법(MV, MVc, 균일)은 전체 데이터 QLE에 비해 상당히 짧은 시간이 소요되었으며, 고차원 설정 하에서 MVc의 경우 시간 복잡도가 O(Nd²)에서 O(Nd)로 감소했다.
• 제안된 분산 프레임워크는 여러 파일(예: 5×1MB 파일)에 저장된 데이터를 성공적으로 처리하여 전체 데이터 로딩 없이도 확장성 있고 효율적인 분석을 가능하게 했다.