[논문 리뷰] Vectorized Adaptive Histograms for Sparse Oblique Forests

Ariel Lubonja, Jungsang Yoon외 7명|arXiv (Cornell University)|2026. 02. 27.

Adversarial Robustness in Machine Learning인용 수 0

한 줄 요약

본 논문은 런타임 적응형 히스토그램과 SIMD 가속 히스토그램 구성, 하이브리드 CPU-GPU 접근법을 도입해 희소 oblique 랜덤 포레스트를 가속화하고, 정확도를 유지하면서 기존 SO-YDF 방법들에 비해 학습 속도를 1.7–2.5배 향상시킨다.

ABSTRACT

Classification using sparse oblique random forests provides guarantees on uncertainty and confidence while controlling for specific error types. However, they use more data and more compute than other tree ensembles because they create deep trees and need to sort or histogram linear combinations of data at runtime. We provide a method for dynamically switching between histograms and sorting to find the best split. We further optimize histogram construction using vector intrinsics. Evaluating this on large datasets, our optimizations speedup training by 1.7-2.5x compared to existing oblique forests and 1.5-2x compared to standard random forests. We also provide a GPU and hybrid CPU-GPU implementation.

연구 동기 및 목표

• 정확도를 해치지 않으면서 희소 oblique 랜덤 포레스트(SO-forest) 학습 시간을 줄인다.
• 노드의 카디널리티에 따라 히스토그램과 정확한 정렬을 선택적으로 사용할 런타임 전략을 개발한다.
• SIMD 하드웨어를 활용해 더 빠른 프로젝션을 위해 히스토그램 채우기를 벡터화한다.
• 대형·폭넓은 데이터셋에서 학습 시간을 더 줄이기 위해 GPU 가속을 가능하게 한다.
• 생물의학 표 형태 데이터셋에서의 오픈 소스 구현과 실증적 근거를 제공한다.

제안 방법

• 노드 카디널리티에 따라 히스토그램 기반 분할과 정확한 분할 사이를 전환하는 동적 히스토그램 전략.
• SIMD를 사용한 벡터화된 히스토그램 채우기(가용 시 16-폭 그룹의 이중 수준 빈 검색 및 AVX-512).
• 프로젝션 샘플링을 통해 희소 oblique 특징을 형성하고 엔트로피 기반 기준으로 분할을 평가한다.
• 큰 노드를 이익이 있을 때 GPU로 오프로드하고 작은 노드는 CPU에 유지하는 하이브드 CPU-GPU 스케줄링.
• 학습 전에 마이크로벤치마크에 기반한 교차점(breakeven) 결정으로 노드별 분할 방법을 선택한다.
• Yggdrasil Random Forest (YDF)에 기반한 오픈 소스 구현으로 넓은 데이터셋에 대한 개선을 포함한다.

Figure 1 . Training runtime by tree depth on a dataset with 1M samples 4096 features. We compare exact splitting using sorting, approximate splitting using histograms, and our dynamic method that adaptively chooses between them.

실험 결과

연구 질문

• RQ1 동적 스위치가 노드당 히스토그램 기반 분할과 정확한 분할 간 전환을 통해 희소 oblique 포레스트의 학습 시간을 정확도 저하 없이 줄일 수 있는가?
• RQ2 현대 CPU에서 히스토그램 구성의 벡터화가 제공하는 속도 향상은 어느 정도이며, 대형 폭넓은 데이터셋에서 GPU 오프로드의 영향은 무엇인가?
• RQ3 희소 oblique 포레스트를 위한 하이브드 CPU-GPU 배치의 실용적 성능 및 정확도 상충은 무엇인가?
• RQ4 데이터 폭(특징)과 샘플 크기가 증가함에 따라 제안된 최적화가 스케일링되는가?

주요 결과

• 대형 데이터셋에서 SO-YDF 기준선의 정확한 분할 대비 CPU 학습 시간이 1.7–2.5× 단축된다.
• 동적 히스토그램만으로도 20–30%의 속도 향상을 얻고, 벡터화된 히스토그램 채우기를 추가하면 추가로 20–30%의 개선이 제공된다.
• SIMD를 활용한 벡터화된 히스토그램 채우기는 이중 수준 빈 검색을 활용해 히스토그램 구축 시간을 2배 단축한다.
• 하이브드 CPU-GPU 구현은 넓고 큰 데이터셋에서 최대 40%의 추가 이점을 제공한다.
• 대형 데이터셋에서 동적 히스토그램 방법과 함께 SO-YDF가 축정렬 RF 학습보다 빠르며 정확도는 히스토그램 기반 방법과 통계적으로 구별되지 않는다.
• 정확도 비교에서 동적 히스토그램이 OpenML CC18 벤치마크 전반에서 표준 히스토그램과 유사한 성능을 달성한다.

Figure 2 . Workflow at each tree node. Histogram splitting of a random linear combination of features requires sparse access in both rows and columns, computing a vector sum, building histograms and evaluating split boundaries.