[논문 리뷰] Divide and Conquer Kernel Ridge Regression: A Distributed Algorithm with Minimax Optimal Rates

Yuchen Zhang, John C. Duchi외 1명|arXiv (Cornell University)|2013. 05. 22.

Sparse and Compressive Sensing Techniques참고 문헌 42인용 수 300

한 줄 요약

이 논문은 대규모 데이터셋을 m개의 부분집합으로 분할하고, 각 부분집합에서 독립적으로 커널 리지 회귀 추정기를 계산한 후 평균을 내어 전역 예측기를 구성하는 분산형 분할정복 커널 리지 회귀 알고리즘을 제안한다. 부분집합당 계산량이 감소함에도 불구하고, m에 대한 미약한 조건 하에서 최소최대 최적 수렴 속도를 달성하여 계산 효율성을 크게 향상시키면서도 통계적 효율성을 유지한다.

ABSTRACT

We establish optimal convergence rates for a decomposition-based scalable approach to kernel ridge regression. The method is simple to describe: it randomly partitions a dataset of size N into m subsets of equal size, computes an independent kernel ridge regression estimator for each subset, then averages the local solutions into a global predictor. This partitioning leads to a substantial reduction in computation time versus the standard approach of performing kernel ridge regression on all N samples. Our two main theorems establish that despite the computational speed-up, statistical optimality is retained: as long as m is not too large, the partition-based estimator achieves the statistical minimax rate over all estimators using the set of N samples. As concrete examples, our theory guarantees that the number of processors m may grow nearly linearly for finite-rank kernels and Gaussian kernels and polynomially in N for Sobolev spaces, which in turn allows for substantial reductions in computational cost. We conclude with experiments on both simulated data and a music-prediction task that complement our theoretical results, exhibiting the computational and statistical benefits of our approach.

연구 동기 및 목표

• 대규모 데이터셋에서 통계적 최적성을 유지하면서 확장 가능한 분산 알고리즘을 개발하는 것.
• 간단한 국소 추정기 평균화가 최소최대 최적 수렴 속도에 도달할 수 있는 이론적 조건을 규명하는 것.
• 국소 추정기를 전체 데이터셋에 대해 훈련된 것처럼 간주하여 과소정규화하는 것이 앙상블 평균화를 통해 보완되어 최적의 전역 성능을 도출할 수 있음을 보여주는 것.
• 분산 비모수 회귀에서 계산 효율성과 통계적 정확성 간의 상호보완적 관계를 정량화하는 것.
• 합성 데이터와 실세계 음악 예측 작업에서 제안된 방법을 실증적으로 검증하는 것.

제안 방법

• 크기가 N인 데이터셋이 무작위로 m개의 동일 크기의 부분집합으로 분할된다.
• 각 부분집합에서 전체 N개 샘플에 대해 훈련된 것처럼 캘리브레이션된 정규화 파rameter를 사용하여 독립적인 커널 리지 회귀 추정기가 계산된다.
• 국소 추정기를 평균하여 전역 예측기를 구성한다: $\bar{f} = \frac{1}{m}\sum_{i=1}^m \widehat{f}_i$.
• 이론적 분석은 커널 연산자의 스펙트럼 분해와 재생 커널 힐버트 공간 내의 편향 및 분산 성분에 대한 경계에 기반한다.
• 핵심 기술 도구로는 행렬 농도 불등식과 경험적 커널 행렬의 모멘트 경계를 활용하여 국소 추정기의 편차를 제어한다.
• 이 방법은 $\mathcal{O}(N^3/m^2)$의 시간 복잡도와 $\mathcal{O}(N^2/m^2)$의 메모리 복잡도를 달성하여 m개의 프로세서를 사용할 때 초선형 속도 향상을 가능하게 한다.

실험 결과

연구 질문

• RQ1 독립적으로 계산된 국소 커널 리지 회귀 추정기의 단순 평균화가 최소최대 최적 수렴 속도에 도달할 수 있는가?
• RQ2 분산형 커널 리지 회귀에서 통계적 최적성을 유지하면서도 분할 수 m은 얼마나 클 수 있는가?
• RQ3 국소 추정기에서의 과소정규화가 평균화된 전역 예측기의 총 분산과 편향에 미치는 영향은 무엇인가?
• RQ4 분할정복 접근법이 유한 랭크, 가우시안, 소볼레프 커널과 같은 다양한 종류의 커널에 대해서도 최적 수렴 속도를 유지하는가?
• RQ5 대규모 비모수 회귀 문제에서 통계적 효율성을 희생시키지 않고도 상당한 계산적 절감을 달성할 수 있는가?

주요 결과

• 각 국소 추정기가 오직 $N/m$개의 샘플에 대해 훈련된 상태에서, 평균 추정기 $\bar{f}$는 기저 재생 커널 힐버트 공간 상에서 최소최대 최적 수렴 속도를 달성한다.
• 유한 랭크 및 가우시안 커널의 경우, m이 N에 거의 선형적으로 증가해도 최적성이 유지되어 상당한 계산 속도 향상을 가능하게 한다.
• 소볼레프 공간의 경우, m이 N에 다항식적으로 증가하더라도 동일한 조건 하에서 최적 속도를 유지한다.
• 이 방법은 시간 복잡도 $\mathcal{O}(N^3/m^2)$와 메모리 복잡도 $\mathcal{O}(N^2/m^2)$를 달성하여 m개의 병렬 프로세서를 사용할 때 초선형 속도 향상을 가능하게 한다.
• 국소 과소정규화에도 불구하고, m배의 평균화로 인한 분산 감소가 증가한 국소 분산을 상쇄하여 최소최대 최적성을 유지한다.
• 합성 데이터와 음악 예측 작업에 대한 실험을 통해 제안된 방법의 계산 효율성과 통계적 정확성이 모두 확인되었다.