[논문 리뷰] Faster Boosting with Smaller Memory

Julaiti Alafate, Yoav Freund|arXiv (Cornell University)|2019. 01. 25.

Machine Learning and Data Classification참고 문헌 17인용 수 4

한 줄 요약

이 논문은 조기 정지, 효과적 표본 크기 추정, 분層 가중 표본 추출을 조합하여 대규모 데이터셋에서 XGBoost 및 LightGBM 대비 10–100배 빠른 속도 향상을 달성하는 메모리 효율적인 부스팅 알고리즘인 Sparrow를 제안한다. 이 방법은 메모리에 작은 대표성 있는 학습 표본을 동적으로 유지함으로써 I/O 오버헤드를 줄이고, 특히 메모리에 담을 수 없는 데이터일 경우에도 모델 정확도를 유지한다.

ABSTRACT

State-of-the-art implementations of boosting, such as XGBoost and LightGBM, can process large training sets extremely fast. However, this performance requires that the memory size is sufficient to hold a 2-3 multiple of the training set size. This paper presents an alternative approach to implementing the boosted trees, which achieves a significant speedup over XGBoost and LightGBM, especially when the memory size is small. This is achieved using a combination of three techniques: early stopping, effective sample size, and stratified sampling. Our experiments demonstrate a 10-100 speedup over XGBoost when the training data is too large to fit in memory.

연구 동기 및 목표

• 가용 메인 메모리보다 큰 데이터셋에서 기울기 부스팅의 성능 저하 문제를 해결하기 위해.
• 모델 정확도를 희생시키지 않고 메모리 제약 조건 하에서 학습 시간을 단축하기 위해.
• 메모리에 작은 대표성 있는 학습 데이터 표본을 동적으로 유지하는 부스팅 알고리즘을 설계하기 위해.
• 새로운 표본 추출 및 정지 전략을 사용하여 메모리보다 큰 데이터셋에 대해 효율적인 학습을 가능하게 하기 위해.

제안 방법

• 각 부스팅 반복에서 스캔하는 예제 수를 최소화하기 위해 순차 분석 기반의 조기 정지를 적용한다.
• 기울기 추정의 통계적 신뢰도를 기울기 분포가 비대칭일 경우에 수량화하기 위해 효과적 예제 수($n_{\text{eff}}$)를 도입한다.
• 기울기 분포가 극도로 비대칭한 가중치가 부여된 데이터에서 효율적으로 표본을 추출하기 위해 분층 가중 표본 추출을 사용하며, 최대 50% 이하의 기각률을 보장한다.
• 표본의 $n_{\text{eff}}/n$ 비율이 임계값 이하로 떨어지면 메모리 내 표본을 동적으로 삭제하고 교체함으로써 대표성을 유지한다.
• 이러한 기법들을 조합하여 기존 연구에서 사용하는 고정된 표본 기반 임계값에 기인한 편향을 피하는 새로운 부스팅 프레임워크인 Sparrow를 구축한다.
• 신뢰 구간을 활용하여 추정 정확도와 계산 비용을 균형 잡는 정지 기준을 구현한다.

실험 결과

연구 질문

• RQ1 가용 메인 메모리보다 큰 데이터셋에서 학습 데이터가 초과할 경우, 정확도를 희생시키지 않고 부스팅을 크게 가속화할 수 있는가?
• RQ2 신뢰할 수 있는 기울기 추정을 유지하면서 각 부스팅 반복에서 스캔하는 예제 수를 어떻게 줄일 수 있는가?
• RQ3 부스팅에서 가중 표본의 통계적 품질을 효과적으로 수량화할 수 있는 지표는 무엇인가?
• RQ4 가중치가 극도로 비대칭한 경우에도 효율적인 표본 추출 전략을 설계할 수 있는가?
• RQ5 효과적 표본 크기를 기반으로 한 동적 표본 교체 전략이 학습 효율성을 어떻게 향상시키는가?

주요 결과

• 배경 깊이 데이터셋(6억 개 예제)에서 Sparrow는 메모리 크기가 데이터셋보다 큰 경우에도 XGBoost 및 LightGBM 대비 10–20배 더 빠른 학습 속도를 기록한다.
• 스プライ스 사이트 데이터셋(5,000만 예제)에서 Sparrow는 8GB 메모리에서 성공적으로 학습을 수행하는 반면, XGBoost의 외부 메모리 모드는 최소 15GB가 필요하고 3배 느리게 작동한다.
• LightGBM와 메모리 기반 XGBoost는 244GB 미만의 메모리에서 학습을 수행할 경우 충돌하는 반면, Sparrow는 안정적이고 효율적인 성능을 유지한다.
• 모든 메모리 설정에서 AUROC 및 학습 속도 측면에서 두 기준 모델보다 Sparrow가 뛰어나며, 특히 저메모리 환경에서 두각을 나타낸다.
• 기존의 고정 임계값을 사용하는 접근 방식과 달리, 샘플링에 의해 유도된 편향 없이 전체 데이터 기반 기준과 유사한 높은 정확도를 유지한다.