[논문 리뷰] How Many Machines Can We Use in Parallel Computing for Kernel Ridge Regression?

Meimei Liu, Zuofeng Shang외 1명|arXiv (Cornell University)|2018. 05. 25.

Statistical Methods and Inference참고 문헌 24인용 수 6

한 줄 요약

이 논문은 비모수 추정과 가설 검정 모두에서 통계적 최적성을 유지하면서 병렬 처리에 사용할 수 있는 머신 수에 대한 이론적 상한을 설정한다. 경험 과정 이론을 통해 스무딩 스퍼린과 가우시안 RKHS와 같은 핵심 케이스에서 로그 인자 외에는 향상될 수 없는 최소 최대 최적의 머신 수 제한을 도출하며, 증명 가능한 최적성을 갖는 분산 비모수 검정을 위한 새로운 월드 유형의 검정 통계량을 제안한다.

ABSTRACT

This paper aims to solve a basic problem in distributed statistical inference: how many machines can we use in parallel computing? In kernel ridge regression, we address this question in two important settings: nonparametric estimation and hypothesis testing. Specifically, we find a range for the number of machines under which optimal estimation/testing is achievable. The employed empirical processes method provides a unified framework, that allows us to handle various regression problems (such as thin-plate splines and nonparametric additive regression) under different settings (such as univariate, multivariate and diverging-dimensional designs). It is worth noting that the upper bounds of the number of machines are proven to be un-improvable (upto a logarithmic factor) in two important cases: smoothing spline regression and Gaussian RKHS regression. Our theoretical findings are backed by thorough numerical studies.

연구 동기 및 목표

• 분산 커널 리지 회귀에서 통계적 최적성을 훼손하지 않으면서 사용할 수 있는 머신의 최대 수를 결정하기 위해.
• 기존의 단변량 고정 설계에 국한된 분할-통합 기법의 결과를 다변량 및 랜덤 설계로 확장하기 위해.
• 분산 비모수 회귀에서 추정과 검정을 분석하는 통합 이론적 프레임워크를 구축하기 위해.
• 수렴하는 성분을 가진 비모수 가산 모델에 대한 최소 최대 최적 검정 속도를 설정하기 위해, 이는 새로운 기여이다.
• 최적 추정과 검정에 대해 엄밀하고 향상될 수 없는 머신 수 $ s $ 의 상한을 유도하며, 이론과 시뮬레이션을 통해 검증하기 위해.

제안 방법

• 분산 커널 리지 회귀에서 局부 추정량과 전역 추정량 간의 이탈을 제한하기 위해 경험 과정 이론을 활용한다.
• 데이터를 여러 머신에 나누어 발생하는 통계 오차를 정량화하기 위해 경험 과정에 대한 농도 부등식을 사용한다.
• 스무딩 스퍼린 회귀에서 등가 커널의 그린 함수를 적용하여 경험 과정의 상한을 정밀화하고 머신 수 제한을 향상시킨다.
• 분산 환경에서 비모수 검정을 위한 월드 유형의 검정 통계량을 제안하며, 점근적 근본 분포와 검정력 분석을 수행한다.
• 비모수 가산 모델의 최소 최대 검정 속도를 유도하기 위해 새로운 방법으로 가우시안 시퀀스 모델로 환원한다.
• 통계적 리스크와 계산 비용 간의 상호작용을 분석하여 머신 수 $ s $ 에 대한 향상될 수 없는 상한을 확립한다.

실험 결과

연구 질문

• RQ1 커널 리지 회귀에서 최소 최대 최적 추정을 유지하면서 병렬 처리에 사용할 수 있는 머신 수 $ s $ 의 최대값은 얼마인가?
• RQ2 분산 환경에서 최적 추정과 최적 검정 간에 $ s $ 에 대한 상한이 어떻게 다를까?
• RQ3 일반적인 비모수 설정에서 단변량 고정 설계를 초월하여 $ s $ 에 대한 이론적 상한을 로그 인자 외에는 향상될 수 없도록 만들 수 있는가?
• RQ4 성분의 수가 수렴하는 비모수 가산 모델의 최소 최대 검정 속도는 무엇인가?
• RQ5 제안된 월드 유형의 검정 통계량은 분산 환경에서 근본 가설과 대립가설 하에서 점근적으로 어떻게 행동하는가?

주요 결과

• 스무딩 스퍼린과 가우시안 RKHS 회귀에서 최적 추정을 위한 머신 수 $ s $ 의 상한은 로그 인자 외에는 향상될 수 없으며, 문헌에서 알려진 가장 날카로운 상한과 일치한다.
• 스무딩 스퍼린 회귀에서 유도된 $ s $ 의 상한은 이전 연구 대비 다항식 순서로 향상되어 $ s \asymp N^{\frac{2m}{4m+1}} $ 를 달성한다. 여기서 $ m $ 은 부드러움 파라미터이다.
• 최적 검정을 위한 상한은 추정을 위한 상한보다 훨씬 작으며, 이는 두 문제 간의 계산 제한에 근본적인 차이가 있음을 드러낸다.
• 성분 수가 수렴하는 비모수 가산 모델에 대해 새로운 최소 최대 검정 속도 $ d_{N,\lambda,d}^{*} \asymp d^{\frac{2m+1}{2(4m+1)}} N^{-\frac{2m}{4m+1}} $ 가 도출되었으며, 이는 별도의 관심사이다.
• 제안된 월드 유형의 검정 통계량은 근본 하에서 점근적으로 정규성을 가지며, 대립가설 하에서 유의미한 검정력을 갖는다. 그 최적성은 머신 수에 따라 달라진다.
• 수치적 연구는 이론적 예측을 확인하며, $ s $ 가 유도된 상한을 초과할 경우 통계적 성능이 떨어짐을 보여준다.