[논문 리뷰] Optimal Subsampling Algorithms for Big Data Generalized Linear Models

Mingyao Ai, Jun Yu외 2명|arXiv (Cornell University)|2018. 06. 18.

Statistical Methods and Inference참고 문헌 21인용 수 20

한 줄 요약

이 논문은 일반선형모형(GLMs)과 정규링크 함수를 갖는 경우에 A-최적성 기준 하의 최적 서브샘플링 방법(OSMAC)을 확장한다. A-최적성과 L-최적성 기준 하에서 최적 서브샘플링 확률을 유도하고, 渐近 정규성과 일致성 등을 수립하며, 서브샘플링 확률을 적응적으로 계산하는 이단계 알고리즘을 제안하여 渐近 최적성과 유한표본 효율성을 달성한다. 시뮬레이션과 실제 데이터를 통한 검증을 통해 성능을 입증한다.

ABSTRACT

To fast approximate the maximum likelihood estimator with massive data, Wang et al. (JASA, 2017) proposed an Optimal Subsampling Method under the A-optimality Criterion (OSMAC) for in logistic regression. This paper extends the scope of the OSMAC framework to include generalized linear models with canonical link functions. The consistency and asymptotic normality of the estimator from a general subsampling algorithm are established, and optimal subsampling probabilities under the A- and L-optimality criteria are derived. Furthermore, using Frobenius norm matrix concentration inequality, finite sample properties of the subsample estimator based on optimal subsampling probabilities are derived. Since the optimal subsampling probabilities depend on the full data estimate, an adaptive two-step algorithm is developed. Asymptotic normality and optimality of the estimator from this adaptive algorithm are established. The proposed methods are illustrated and evaluated through numerical experiments on simulated and real datasets.

연구 동기 및 목표

• 거대한 데이터셋에서 일반선형모형(GLMs)을 피팅할 때 발생하는 계산 부담을 줄이기 위해 효율적인 서브샘플링 방법을 개발한다.
• 이전에 로지스틱 회귀분석에 국한되어 있던 OSMAC 프레임워크를 일반 GLMs와 정규링크 함수로 확장한다.
• 일반 서브샘플링 알고리즘 하에서 서브샘플러 추정량의 일치성과 渐近 정규성 등의 이론적 성질을 수립한다.
• GLMs에 대해 A-최적성과 L-최적성 기준 하에서 최적 서브샘플링 확률을 유도한다.
• 渐近 최적성과 유한표본 효율성을 달성하는 적응형 이단계 알고리즘을 개발하고 분석한다.

제안 방법

• GLMs와 정규링크 함수를 갖는 경우에 대해 渐近 분산-공분산 근사치를 사용하여 A-최적성과 L-최적성 기준 하에서 최적 서브샘플링 확률을 유도한다.
• 프로베니우스 노름 행렬 농도 부등식을 사용하여 최적 확률 하에서 서브샘플러 추정량의 유한표본 성질을 수립한다.
• 적응형 이단계 알고리즘 제안: 첫 번째 단계에서 전체 데이터 파rameter를 추정하고, 두 번째 단계에서 이러한 추정치를 바탕으로 최적 서브샘플링 확률을 계산한다.
• 제안된 적응형 기법 하에서 추정량이 일치성과 渐近 정규성을 확보함을 보장한다.
• 성능을 실증적으로 평가하기 위해 시뮬레이션 및 실제 데이터셋에 서브샘플링 알고리즘을 적용한다.
• GLMs에서 최대우도추정량의 渐近 분포 성질을 활용하여 최적성 기준과 추정량 행동의 타당성을 정당화한다.

실험 결과

연구 질문

• RQ1 OSMAC 프레임워크는 로지스틱 회귀분석을 초월하여 일반선형모형(GLMs)에도 일반화될 수 있는가?
• RQ2 GLMs와 정규링크 함수를 갖는 경우 A-최적성과 L-최적성 기준 하에서 최적 서브샘플링 확률는 무엇인가?
• RQ3 최적 확률 기반 서브샘플러 추정량은 GLM 설정에서 일치성과 渐近 정규성을 확보하는가?
• RQ4 전체 데이터 추정치가 알려지지 않은 상황에서 渐近 최적성을 달성할 수 있는 적응형 이단계 알고리즘을 설계할 수 있는가?
• RQ5 최적 서브샘플링 하에서 서브샘플러 추정량의 유한표본 성질은 전체 데이터 MLE와 비교해 어떻게 되는가?

주요 결과

• 정규링크 함수를 갖는 GLMs에 대해 A-최적성과 L-최적성 기준 하에서 최적 서브샘플링 확률가 유도되었다.
• 최적 확률 기반 서브샘플러 추정량은 정규성 조건 하에서 일치성과 渐近 정규성을 갖는다.
• 프로베니우스 노름 행렬 농도 부등식을 활용하여 추정량의 유한표본 성질이 수립되었다.
• 적응형 이단계 알고리즘이 전체 데이터 추정치를 사용하여 확률을 구성하는 경우에도 渐近 정규성과 최적성을 달성한다.
• 시뮬레이션 및 실제 데이터셋에 대한 수치 실험을 통해 전체 데이터 MLE 대비 효율성과 정확성이 입증되었다.
• 대규모 GLM 환경에서 계산 비용을 크게 줄이면서도 높은 통계적 효율성을 유지한다.