[논문 리뷰] Gaussian Process Models with Parallelization and GPU acceleration

Zhenwen Dai, Andreas Damianou외 2명|arXiv (Cornell University)|2014. 10. 18.

Gaussian Processes and Bayesian Inference참고 문헌 15인용 수 25

한 줄 요약

이 논문은 분산 CPU/GPU 병렬 처리와 GPU 가속 계산을 결합한 확장 가능한 가우시안 프로세스 프레임워크를 제안한다. 데이터 포인트 간 독립성의 특성을 활용하고, Φ 및 Ψ와 같은 계산 비용이 높은 연산을 GPU로 이관함으로써, 데이터 크기에 비례하는 선형 스케일링을 달성하고, 수백만 개의 데이터 포인트에 대한 추론을 가능하게 한다. 이는 64,000개의 데이터 포인트를 가진 합성 데이터셋을 대상으로 하여 CPU-only 방법 대비 뚜렷한 성능 향상을 입증하였다.

ABSTRACT

In this work, we present an extension of Gaussian process (GP) models with sophisticated parallelization and GPU acceleration. The parallelization scheme arises naturally from the modular computational structure w.r.t. datapoints in the sparse Gaussian process formulation. Additionally, the computational bottleneck is implemented with GPU acceleration for further speed up. Combining both techniques allows applying Gaussian process models to millions of datapoints. The efficiency of our algorithm is demonstrated with a synthetic dataset. Its source code has been integrated into our popular software library GPy.

연구 동기 및 목표

• 대규모 데이터셋에 대한 가우시안 프로세스 모델에서 발생하는 O(N³) 계산 병목 현상을 극복하기 위해.
• 데이터 수준의 병렬 처리와 GPU 가속을 융합하여 수백만 개의 데이터 포인트에서 효율적인 추론을 가능하게 하기 위해.
• 기존 GP 소프트웨어 스택(GPy 등)에 원활하게 통합될 수 있는 일반적이고 확장 가능한 구현체를 개발하기 위해.
• 현대 고성능 컴퓨팅 기법과 결합할 경우 가우시안 프로세스 모델이 빅데이터에 실용적으로 적용될 수 있음을 입증하기 위해.

제안 방법

• 스parse GP 공식화에서의 모듈식이고 데이터 포인트 수준의 구조를 활용하여 자연스러운 병렬 처리를 가능하게 한다.
• trace(Φ) 및 Ψ와 같은 핵심 항목을 N개의 데이터 포인트에 대한 합으로 분해함으로써 데이터 수준의 병렬 처리를 실현한다.
• Φ = Σₙ K_fuᵀK_fu 및 Ψ = Σₙ K_fuᵀyₙ의 계산을 블록과 스레드 기반의 워크로드 분할 전략을 사용해 GPU로 이관한다.
• GPU 최적화된 메모리 접근 패턴을 적용: Ψ의 경우 스레드가 직접 글로벌 메모리에 쓰고, Φ의 중간 결과는 공유 메모리를 사용한 후 감소 연산을 수행한다.
• MPI 기반의 분산 컴퓨팅을 통해 여러 노드 간 분산 처리를 수행하며, 각 노드는 일부 데이터 포인트와 GPU 카드를 담당한다.
• 최적화 과정 중 기울기 계산에도 동일한 워크로드 분할 전략을 적용하여 종단 간 가속을 보장한다.

실험 결과

연구 질문

• RQ1 현대 HPC 아키텍처를 활용하여 가우시안 프로세스 모델을 수백만 개의 데이터 포인트로 효율적으로 확장할 수 있는가?
• RQ2 데이터 수준의 병렬 처리와 GPU 가속의 조합이 GP 모델의 추론 시간을 얼마나 효과적으로 단축시키는가?
• RQ3 분산 GP 추론에서의 통신 대 계산 비율은 얼마이며, 선형 스케일업을 가능하게 하는가?
• RQ4 대규모 N을 가진 GP 모델에서 GPU 가속이 CPU-only 추론을 얼마나 뛰어나게 하는가?
• RQ5 실제로 다수의 CPU 노드와 GPU 카드를 통해 제안된 방법이 얼마나 잘 스케일링되는가?

주요 결과

• 알고리즘은 데이터 포인트 수에 비례하여 계산 시간이 선형적으로 증가함을 확인하여, 병렬화된 구현의 O(N) 복잡도를 입증한다.
• 반복당 추론 시간이 CPU 및 GPU 수에 비례하여 거의 선형적으로 증가함을 확인하여, 낮은 통신 오버헤드와 높은 병렬 효율성을 보여준다.
• 단일 GPU 카드가 32코어 CPU 노드를 상당한 격차로 능가함으로써 GPU 가속의 효과를 입증한다.
• 계산 시간의 90% 이상이 분산 가능하며, 행렬 역행렬과 같은 분산 불가능한 연산에 소요되는 시간은 10% 미만이므로, 더 많은 자원을 추가로 투입함으로써 추가적인 성능 향상이 가능하다.
• 100개의 유도 포인트를 사용하여 64,000개의 데이터 포인트를 가진 합성 데이터셋을 성공적으로 처리함으로써, 실제 빅데이터 응용 분야에의 적용 가능성을 입증한다.
• 구현체는 GPy에 완전히 통합되어 있으며, 베이지안 GP-LVM 및 딥 GPs를 포함한 다양한 GP 모델을 지원하여 광범위한 적용 가능성을 확보한다.