[논문 리뷰] Doubly Distributed Supervised Learning and Inference with High-Dimensional Correlated Outcomes

Emily C. Hector, Peter X.‐K. Song|arXiv (Cornell University)|2020. 07. 16.

Gaussian Processes and Bayesian Inference참고 문헌 40인용 수 9

한 줄 요약

이 논문은 고차원의 상관관계가 있는 결과와 큰 표본 크기를 데이터 블록 간에 이중적으로 분할하여 확장 가능하고 병렬 추론을 가능하게 하는 이중 분산 감독 학습 프레임워크를 제안한다. 일반화된 모멘트 방법(GMM)에 영감을 받은 메타-추정기와 함께 블록 추정기를 조합함으로써, 중앙집중식 데이터 저장 없이도 점차적 효율성 있는 추론을 달성한다. 이는 고차원 결과 설정에서 발생하는 계산적 병목 현상을 해결한다.

ABSTRACT

This paper presents a unified framework for supervised learning and inference procedures using the divide-and-conquer approach for high-dimensional correlated outcomes. We propose a general class of estimators that can be implemented in a fully distributed and parallelized computational scheme. Modelling, computational and theoretical challenges related to high-dimensional correlated outcomes are overcome by dividing data at both outcome and subject levels, estimating the parameter of interest from blocks of data using a broad class of supervised learning procedures, and combining block estimators in a closed-form meta-estimator asymptotically equivalent to estimates obtained by Hansen (1982)'s generalized method of moments (GMM) that does not require the entire data to be reloaded on a common server. We provide rigorous theoretical justifications for the use of distributed estimators with correlated outcomes by studying the asymptotic behaviour of the combined estimator with fixed and diverging number of data divisions. Simulations illustrate the finite sample performance of the proposed method, and we provide an R package for ease of implementation.

연구 동기 및 목표

• 표준 방법이 비가능한 고차원 상관 결과를 가진 감독 학습에서 발생하는 계산적 및 통계적 과제를 해결하기 위해.
• 계산 부담을 줄이기 위해 결과 및 주체 수준에서 모두 데이터를 분할할 수 있는 통합적이고 병렬 처리 가능한 프레임워크를 개발하기 위해.
• 고정 및 발산하는 데이터 분할 수에 대한 분산 추정기의 이론적 근거를 제공하기 위해.
• 상호 블록 간 의존성 구조를 통합함으로써 기존의 분할-통합 방법을 상관 결과를 처리할 수 있도록 확장하기 위해.
• 모든 데이터를 한 서버에 재로드할 필요 없이 전체 데이터 GMM의 효율성을 모방하는 폐쇄형 해를 가진 메타-추정기를 사용해 효율적인 추론을 가능하게 하기 위해.

제안 방법

• 반응 벡터 Y를 저차원 하위벡터로 나누고, 주제를 무작위로 독립된 그룹으로 분할하여 분산 분석을 위한 데이터 블록을 생성한다.
• 각 블록은 예를 들어 쌍별 복합우도와 같은 일반적인 감독 학습 절차를 사용하여 병렬로 분석되며, 국소 매개변수를 추정한다.
• 블록 간 의존성을 추정 함수 기반의 가중치 체계를 통해 고려하는 GMM 유사 메타-추정기를 사용해 블록별 추정기를 조합한다.
• 메타-추정기는 전체 데이터 GMM 추정기와 점근적으로 동치인 폐쇄형 해로 유도되며, 모든 데이터를 한 서버에 다시 로드할 필요 없이 작동한다.
• 이론적 근거는 추정 함수에 대한 점근 이론에 기반하며, 고정 및 발산하는 데이터 분할 수 모두에서 수렴성이 입증된다.
• 확장 가능하고 분산 처리 가능한 계산을 지원하며, 실용적인 빅데이터 환경에서의 사용을 위해 R 패키지로 구현되어 있다.

실험 결과

연구 질문

• RQ1 중앙집중식 데이터 저장 없이 고차원 상관 결과에 대해 점근적으로 효율적인 추론을 달성할 수 있는가?
• RQ2 유한 표본에서 이중 분산 추정기의 성능은 전체 데이터 GMM와 어떻게 비교되는가?
• RQ3 블록 간 의존성은 조합된 추정기의 효율성과 일致성에 어떤 영향을 미치는가?
• RQ4 표본 크기 N과 결과 차원 M이 증가함에 따라 이 방법은 어떻게 스케일링되는가?
• RQ5 이 프레임워크는 특정 모델을 초월해 광범위한 감독 학습 절차에 일반화될 수 있는가?

주요 결과

• 제안된 이중 분산 추정기는 전체 데이터 GMM 추정기와 점근적으로 동치이며, 데이터 중앙집중화 없이도 통계적 효율성을 보장한다.
• 규칙성 조건 하에 데이터 분할 수가 발산하더라도 일致성과 점근 정규성을 유지한다.
• 시뮬레이션 결과는 강력한 유한 표본 성능을 보이며, 편향과 분산 측면에서 메타-추정기가 전체 데이터 GMM 추정치를 밀접하게 근사함을 보여준다.
• 결과 수준과 주체 수준에서의 병렬 처리를 통해 계산 부담을 크게 감소시켜 큰 N과 고차원 M에 대한 확장성 향상을 이룬다.
• 이론적 결과는 조합된 추정기가 블록 간 의존성을 고려함으로써 독립적 메타-추정 방법보다 향상된 성능을 보임을 확인한다.
• 구현을 용이하게 하기 위해 R 패키지가 제공되며, Hadoop 유사 분산 컴퓨팅 환경에서의 배포를 지원한다.