[논문 리뷰] RoNGBa: A Robustly Optimized Natural Gradient Boosting Training Approach with Leaf Number Clipping

Liliang Ren, Gen Sun외 1명|arXiv (Cornell University)|2019. 12. 05.

Machine Learning and Data Classification참고 문헌 9인용 수 5

한 줄 요약

RoNGBa는 리프 수 클리핑과 하이퍼파rameter 튜닝을 적용하여 훈련 효율성과 예측 성능을 향상시키는 강력하게 최적화된 자연 경사 부스팅 프레임워크를 제안한다. 깊이 제약 조건을 리프 수 정규화로 대체하고 학습률, 추정기 수, 최대 리프 수를 최적화함으로써 RoNGBa는 최대 4.85배의 속도 향상을 이끌어내며, UCI 기준 데이터셋에서 최신 기준 성능을 달성하면서 정확도를 유지하거나 향상시킨다.

ABSTRACT

Natural gradient has been recently introduced to the field of boosting to enable the generic probabilistic predication capability. Natural gradient boosting shows promising performance improvements on small datasets due to better training dynamics, but it suffers from slow training speed overhead especially for large datasets. We present a replication study of NGBoost(Duan et al., 2019) training that carefully examines the impacts of key hyper-parameters under the circumstance of best-first decision tree learning. We find that with the regularization of leaf number clipping, the performance of NGBoost can be largely improved via a better choice of hyperparameters. Experiments show that our approach significantly beats the state-of-the-art performance on various kinds of datasets from the UCI Machine Learning Repository while still has up to 4.85x speed up compared with the original approach of NGBoost.

연구 동기 및 목표

• 대규모 데이터셋에서 NGBoost의 느린 훈련 속도 문제를 해결하면서도 강력한 예측 성능를 유지하는 것.
• 최대 깊이 제약 조건을 리프 수 클리핑으로 대체하여 정규화 기법으로 활용함으로써 일반화 성능 및 훈련 동역학을 향상시키는 것.
• 모델 복잡도, 훈련 시간, 예측 정확도 간의 균형을 이룰 수 있는 최적의 하이퍼파rameter 설정을 도출하는 것.
• 약한 학습기 수를 줄이고 기본 학습기의 복잡도를 증가시키는 것이 성능을 유지하거나 향상시키면서도 더 빠른 훈련을 가능하게 하는지 확인하는 것.
• 다양한 UCI 회귀 데이터셋에서 자연 경사 부스팅의 새로운 최고 수준의 기준을 설정하는 것.

제안 방법

• 기본 학습기에서 최대 깊이 제약 조건을 최대 리프 수로 대체하여 정규화 기법으로 활용함으로써 모델 표현력과 훈련 효율성을 향상시키는 것.
• 최적의 첫 번째 결정 트리 학습 기법을 사용하여 리프 단위로 트리를 성장시켜 수준 기반 성장 방식보다 더 빠른 수렴과 낮은 손실을 달성하는 것.
• 학습률, 추정기 수, 최대 리프 수의 세 가지 핵심 하이퍼파rameter를 체계적인 튜닝을 통해 최적화하는 것.
• 계산적 트레이드오프 통찰을 활용: 추정기 수를 줄이고 기본 학습기의 복잡도를 증가시키면 훈련 시간이 선형적으로 감소하는 것.
• 초기 튜닝을 Energy 데이터셋에서 수행한 후, 일관성과 재현 가능성을 확보하기 위해 모든 데이터셋에 동일한 하이퍼파ram터 설정(η=0.04, m=500, n=31)을 적용하는 것.
• 모든 실험을 20회 반복(더 큰 데이터셋의 경우 5회 또는 1회)하여 훈련 시간과 메트릭을 평균 내어 견고한 평가를 수행하는 것.

실험 결과

연구 질문

• RQ1 깊이 기반 제약 조건 대비 리프 수 클리핑을 적용함으로써 자연 경사 부스팅의 성능과 훈련 속도가 향상되는가?
• RQ2 학습률, 추정기 수, 최대 리프 수의 하이퍼파라미터 조합 중 정확도와 훈련 시간 간 최적의 트레이드오프를 이룰 수 있는 설정은 무엇인가?
• RQ3 추정기 수를 줄이고 기본 학습기의 복잡도를 증가시키는 것이 예측 성능을 훼손하지 않으면서도 더 빠른 훈련을 가능하게 하는가?
• RQ4 단일 최적화 하이퍼파라미터 설정이 다양한 UCI 회귀 데이터셋에 일반화 가능한가?
• RQ5 RMSE, NLL, 훈련 시간 측면에서 RoNGBa는 원본 NGBoost 및 최신 기준 방법보다 어떻게 비교되는가?

주요 결과

• Protein 데이터셋에서 RoNGBa는 원본 NGBoost 대비 최대 4.85배의 속도 향상을 기록하여 훈련 시간을 1191.02초에서 502.34초로 단축시켰다.
• Energy 데이터셋에서 RoNGBa는 RMSE를 0.51에서 0.35로, NLL을 0.76에서 0.37로 감소시켜 뚜렷한 성능 향상을 보였다.
• Naval 데이터셋에서 RoNGBa는 RMSE(0.00)를 기록하여 NGBoost(-4.88) 대비 더 낮은 RMSE와 향상된 NLL(-5.49)을 달성하여 보다 우수한 校정 및 정확도를 보였다.
• Year MSD 데이터셋에서 RoNGBa는 훈련 시간을 14.00시간에서 5.15시간으로 단축시켰고, 거의 동일한 RMSE 및 NLL 값을 유지하였다.
• RMSE 및 NLL 측면에서 RoNGBa는 10개의 UCI 데이터셋 중 7개에서 NGBoost를 능가했으며, Energy, Power, Protein 데이터셋에서 통계적으로 유의미한 향상을 보였다.
• 깊이 제약 조건 대신 리프 수 클리핑을 적용함으로써 트리 구축 속도가 30% 향상되었으며, 이는 더 효율적이고 깊은 트리 성장 방식 덕분이었다.