[논문 리뷰] Out-of-Core GPU Gradient Boosting

Rong Ou|arXiv (Cornell University)|2020. 05. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 9인용 수 4

한 줄 요약

이 논문은 XGBoost에서 GPU 메모리보다 훨씬 큰 데이터셋을 처리할 수 있도록 PCIe를 통해 효율적인 데이터 스트리밍과 기울기 기반 샘플링을 조합한, 최초의 외부 메모리 GPU 기반 기울기 부스팅 알고리즘을 제안한다. 이 방법은 코어 모델의 정확도와 학습 속도를 유지하면서도 단일 16 GiB GPU에서 10배 더 큰 데이터셋까지 확장 가능하다.

ABSTRACT

GPU-based algorithms have greatly accelerated many machine learning methods; however, GPU memory is typically smaller than main memory, limiting the size of training data. In this paper, we describe an out-of-core GPU gradient boosting algorithm implemented in the XGBoost library. We show that much larger datasets can fit on a given GPU, without degrading model accuracy or training time. To the best of our knowledge, this is the first out-of-core GPU implementation of gradient boosting. Similar approaches can be applied to other machine learning algorithms

연구 동기 및 목표

• 대규모 머신러닝 모델 학습 시 GPU 메모리 크기의 한계를 해결한다.
• 효율적인 외부 메모리 GPU 계산을 저해하는 PCIe 대역폭 제약을 극복한다.
• 기존 XGBoost의 CPU 기반 외부 메모리 지원을 최소한의 성능 저하로 GPU로 확장한다.
• GPU 메모리보다 큰 데이터셋을 정확도나 학습 시간을 희생시키지 않고 학습할 수 있도록 한다.
• 공개 소스 사용을 위한 확장 가능하고 프로덕션 수준의 구현을 설계한다.

제안 방법

• 나무 구축 중 작업 메모리 사용량을 줄이기 위해 기울기 기반 샘플링을 활용한다.
• 파ipelined, 비동기적 데이터 로딩 전략을 사용해 주 메모리 또는 디스크에서 GPU로 데이터 스트리밍을 수행한다.
• 메모리 트래픽을 줄이기 위해 이산화된 특성의 압축 표현을 위해 ELLPACK 형식을 사용한다.
• 두 단계로 구성된 GPU 나무 구축: 사전 처리(이산화 및 압축) 후 히스토그램 기반 분할 평가.
• 샘플링이 기본 최적화 목표를 변경하지 않도록 하여 일관된 모델 행동을 유지한다.
• 기존 워크플로우를 손상시키지 않으면서도 백워드 컴파티빌리티와 모듈식 코드 아키텍처를 확보하여 XGBoost 라이브러리에 외부 메모리 GPU 파이프라인을 통합한다.

실험 결과

연구 질문

• RQ1 PCIe 대역폭 제약이 존재하는 상황에서도 외부 메모리 GPU 학습이 기울기 부스팅에 실용적으로 적용될 수 있는가?
• RQ2 기울기 기반 샘플링을 통해 GPU 메모리 사용량을 얼마나 줄일 수 있으며, 이로 인해 모델 정확도가 떨어지지 않는가?
• RQ3 대규모 데이터셋에서 외부 메모리 GPU 학습의 성능이 코어 GPU 및 CPU 기반 학습과 비교해 어떻게 되는가?
• RQ4 제안된 접근 방식은 기존 워크플로우를 손상시키지 않고 널리 사용되는 오픈소스 라이브러리인 XGBoost에 통합될 수 있는가?
• RQ5 이 방법을 사용할 경우 단일 GPU에서 코어 학습 대비 최대 몇 배의 데이터셋 크기를 학습할 수 있는가?

주요 결과

• 외부 메모리 GPU 구현은 GPU 메모리 크기의 10배까지 큰 데이터셋(예: 16 GiB GPU에서 903 GiB 데이터셋)을 지원하며, 샘플링 비율 f=0.1일 때 성능을 발휘한다.
• 모델 정확도는 코어 학습과 거의 동일하다: Higgs 데이터셋에서 AUC는 외부 메모리(f=1.0)일 때 0.8396, 코어일 때 0.8398이다.
• f=0.5일 때 외부 메모리 GPU 학습은 427.41초가 소요되며, 이는 CPU 외부 메모리 학습(1228.53초)보다 빠르고 코어 GPU 학습(241.52초)보다도 빠르다.
• 샘플링이 적용된 상태에서도 외부 메모리 GPU 버전은 CPU 기반 학습보다 빠르며, GPU 가속이 유지됨을 보여준다.
• 최소한의 오버헤드로 코어 수준의 성능에 근접한 성능을 달성하여 실무 적용에 적합하다.
• 이 구현은 오픈소스 XGBoost 라이브러리에 통합되어 더 넓은 보급과 향후 연구를 가능하게 하였다.