[논문 리뷰] FastBDT: A speed-optimized and cache-friendly implementation of stochastic gradient-boosted decision trees for multivariate classification

Thomas M. Keck|arXiv (Cornell University)|2016. 09. 20.

Gaussian Processes and Bayesian Inference참고 문헌 2인용 수 14

한 줄 요약

FastBDT는 다변량 분류를 위한 스트로스틱 그래디언트 부스팅 결함수 트리의 고도로 최적화되고 캐시 우수한 구현으로, TMVA, scikit-learn 및 XGBoost 대비 피팅 및 추론 단계에서 각각 10배 빠른 성능을 달성한다. 이는 부동소수점 연산을 정수 산술로 대체하기 위해 등빈도 분할을 사용하고, CPU 캐시 활용도를 향상시키기 위해 선형 메모리 접근 패턴을 강제 적용함으로써 달성된다.

ABSTRACT

Stochastic gradient-boosted decision trees are widely employed for multivariate classification and regression tasks. This paper presents a speed-optimized and cache-friendly implementation for multivariate classification called FastBDT. FastBDT is one order of magnitude faster during the fitting-phase and application-phase, in comparison with popular implementations in software frameworks like TMVA, scikit-learn and XGBoost. The concepts used to optimize the execution time and performance studies are discussed in detail in this paper. The key ideas include: An equal-frequency binning on the input data, which allows replacing expensive floating-point with integer operations, while at the same time increasing the quality of the classification; a cache-friendly linear access pattern to the input data, in contrast to usual implementations, which exhibit a random access pattern. FastBDT provides interfaces to C/C++, Python and TMVA. It is extensively used in the field of high energy physics by the Belle II experiment.

연구 동기 및 목표

• 고성능 응용 분야에서 스트로스틱 그래디언트 부스팅 결함수 트리(SGBDT)의 성능 저하 문제를 해결한다.
• 분류 품질을 손상시키지 않은 채 피팅 및 추론 단계의 계산 지연을 최소화한다.
• 결함수 트리 학습에서 CPU 캐시 효율성을 향상시키기 위해 메모리 접근 패턴을 최적화한다.
• 고에너지 물리학 및 실시간 학습 시스템에서 빠르고 확장 가능한 다변량 분류를 가능하게 한다.
• 실세계 구현을 위한 강력한 기능을 지원한다: 음수 가중치 및 결측치 처리 기능

제안 방법

• 입력 특징에 대해 등빈도 분할을 적용하여, 학습 중에 부동소수점 연산을 효율적인 정수 산술로 전환한다.
• 히스토그램 계산 중 캐시 미스를 최소화하기 위해 선형적이고 캐시 우수한 메모리 접근 패턴을 강제 적용한다.
• 일반화를 향상시키고 과적합을 줄이기 위해 각 부스팅 단계에서 확률적 서브샘플링(서브샘플링 비율 α)을 사용한다.
• 최종 신호 확률을 계산하기 위해 트리 출력의 시그모이드 변환된 합을 구현하며, 이는 그래디언트 부스팅에서 표준이다.
• 데이터 기반의 신호-배경 분리 및 결측치 처리를 위해 개별 음수 가중치 및 NaN/inf 값을 지원한다.
• 빠른 학습 덕분에 반복적 특징 제거를 통한 AUC 감소 기반의 특징 중요도 추정 방법을 도입한다.

실험 결과

연구 질문

• RQ1 재설계된 SGBDT의 구현이 기존 프레임워크 대비 피팅 및 추론 단계에서 10배 빠른 성능을 달성할 수 있는가?
• RQ2 등빈도 분할이 그래디언트 부스팅 결함수 트리에서 속도와 분류 성능을 모두 향상시키는가?
• RQ3 캐시 우수한 메모리 접근 패턴이 CPU 캐시 미스를 얼마나 줄이고 실행 시간을 향상시키는가?
• RQ4 빠른 학습이 AUC 기반 순열 기반 특징 중요도 추정과 같은 계산 비용이 큰 분석을 실용적으로 가능하게 하는가?
• RQ5 FastBDT의 성능는 고에너지 물리학과 같은 다양한 데이터셋과 실세계 사용 사례에서 어떻게 확장되는가?

주요 결과

• FastBDT는 TMVA, scikit-learn 및 XGBoost 대비 피팅 단계에서 10배 빠른 성능을 달성했으며, 다양한 데이터셋에서 일관된 성능을 보였다.
• 응용 단계 역시 10배 더 빠르게 작동하여 고처리량 환경에서 실시간 추론을 가능하게 했다.
• 등빈도 분할은 수치적 불안정성을 줄이고 분리 이득 추정을 향상시켜 분류 품질을 향상시켰다.
• 캐시 우수한 메모리 접근 패턴은 CPU 캐시 미스를 감소시켜 성능 향상에 기여했다.
• FastBDT는 음수 가중치 및 결측치(NaN 및 inf)를 지원하여 고에너지 물리학에서 복잡한 데이터를 강력하게 처리할 수 있게 했다.
• 빠른 학습 덕분에 기존에 느린 프레임워크에서는 실현 불가능했던 AUC 기반 특징 중요도 추정을 실용적으로 적용할 수 있었다.