[논문 리뷰] Kernel methods through the roof: handling billions of points efficiently

Giacomo Meanti, Luigi Carratino외 2명|arXiv (Cornell University)|2020. 06. 18.

Gaussian Processes and Bayesian Inference참고 문헌 58인용 수 28

한 줄 요약

이 논문은 GPU 가속, 다중 GPU 병렬 처리, 그리고 메모리 외부 선형 대수 기법을 활용하여 수십억 개의 데이터 포인트를 효율적으로 처리할 수 있는 확장 가능한 커널 방법 해법인 Falkon을 제시한다. Nyström 근사와 조건부 공액 기울기 해법을 조합하고 메모리 접근과 수치 정밀도를 최적화함으로써, 대규모 문제에서 몇 분 내에 최신 기준의 정확도를 달성한다. 이는 커널 방법의 실용적 적용 가능성을 크게 향상시킨다.

ABSTRACT

Kernel methods provide an elegant and principled approach to nonparametric learning, but so far could hardly be used in large scale problems, since naïve implementations scale poorly with data size. Recent advances have shown the benefits of a number of algorithmic ideas, for example combining optimization, numerical linear algebra and random projections. Here, we push these efforts further to develop and test a solver that takes full advantage of GPU hardware. Towards this end, we designed a preconditioned gradient solver for kernel methods exploiting both GPU acceleration and parallelization with multiple GPUs, implementing out-of-core variants of common linear algebra operations to guarantee optimal hardware utilization. Further, we optimize the numerical precision of different operations and maximize efficiency of matrix-vector multiplications. As a result we can experimentally show dramatic speedups on datasets with billions of points, while still guaranteeing state of the art performance. Additionally, we make our software available as an easy to use library.

연구 동기 및 목표

• 기존 커널 방법의 계산적 병목 현상에 대비해 수십억 개 포인트를 포함한 데이터셋에서 커널 방법의 실용적 사용을 가능하게 하기 위해.
• 고성능 커널 학습을 위해 GPU 하드웨어와 다중 GPU 병렬 처리를 최대한 활용하는 해법을 설계하기 위해.
• 메모리 제약에도 불구하고 최적의 하드웨어 활용을 유지하기 위해 핵심 선형 대수 연산의 메모리 외부 구현을 구현하기 위해.
• 최대한의 계산 처리량을 확보하기 위해 수치 정밀도와 행렬-벡터 곱 연산의 효율성을 최적화하기 위해.
• PyTorch 기반으로 고성능이며 사용이 간편한 라이브러리를 제공하기 위해.

제안 방법

• 문제의 효과적 크기를 줄이기 위해 Nyström 근사를 활용하여 확장 가능한 커널 학습을 가능하게 한다.
• 부드러운 손실 함수에 대해 조건부 공액 기울기 해법을 사용하며, 조건부는 Nyström 근사에서 유도된다.
• GPU 메모리 용량을 초과하는 행렬을 처리하기 위해 BLAS 연산(예: TRSM, SYRK, GEMM)의 메모리 외부 구현을 설계하였으며, 동기화를 위한 공유 상태 추적 테이블(T)을 사용한다.
• 동적 메모리 관리와 계산 및 데이터 전송을 겹치는 타일 기반 열 우선 Cholesky 분해를 사용한다.
• 공유 정수 테이블 T를 통한 비차단 동기화 방식을 활용해 타일 로딩 및 쓰기의 순서를 신중히 스케줄링함으로써 메모리 접근을 최적화한다.
• 각 연산에 맞춰 정밀도를 조정하여 정확도를 유지하면서 성능을 극대화하고, GPU 최적화 커널을 통해 행렬-벡터 곱 연산을 가속화한다.

실험 결과

연구 질문

• RQ1 현대 GPU 하드웨어를 활용해 커널 방법을 수십억 개 포인트를 포함한 데이터셋에 효율적으로 스케일링할 수 있는가?
• RQ2 대규모 커널 학습에서 고성능 GPU 활용을 유지하기 위해 메모리 외부 선형 대수 연산을 어떻게 설계할 수 있는가?
• RQ3 Nyström 근사와 조건부 공액 기울기 해법의 조합이 대규모 환경에서 속도와 정확도에 미치는 영향은 무엇인가?
• RQ4 GPU 최적화 및 메모리 효율적인 커널 방법의 구현이 정확도와 성능에서 최신 기준을 달성하면서도 실용적이고 사용자 친화적인가?
• RQ5 기존의 대규모 커널 방법인 Eigenpro, GPyTorch, GPflow와 비교해 제안된 해법은 정확도와 속도 면에서 어떻게 다른가?

주요 결과

• 제안된 Falkon 해법은 최대 수십억 개 포인트를 포함한 대규모 데이터셋에서 최신 기준의 예측 정확도를 달성하며, 기존 방법보다 빠르고 정확도가 높다.
• 해법은 1억 개에서 10억 개 포인트를 포함한 데이터셋을 몇 분 내에 처리하여 기존 커널 방법에 비해 놀라운 성능 향상을 보였다.
• GPU 가속과 메모리 외부 선형 대수 기법을 통해 행렬이 GPU 메모리 용량을 초과하더라도 하드웨어를 효율적으로 활용할 수 있다.
• Nyström 근사, 조건부 공액 기울기, GPU 최적화 커널의 조합은 뚜렷한 계산 효율성 향상을 가져왔다.
• 다중 GPU를 통해 정밀도와 메모리 접근 패턴을 세심히 조정함으로써 높은 수치 안정성과 정확도를 유지하였다.
• PyTorch 기반으로 제작된 오픈소스 라이브러리 Falkon은 기존 머신 러닝 워크플로우에 쉽게 배포하고 통합할 수 있도록 했다.