[논문 리뷰] PaloBoost: An Overfitting-robust TreeBoost with Out-of-Bag Sample Regularization Techniques

Yubin Park, Joyce C. Ho|arXiv (Cornell University)|2018. 07. 22.

Machine Learning and Data Classification참고 문헌 32인용 수 6

한 줄 요약

PaloBoost는 OOB(Out-of-Bag) 샘플을 활용하여 기울기 인식 프루닝과 적응형 학습률 추정을 통해 과적합에 대한 강건성을 향상시키는 Stochastic Gradient TreeBoost 모델이다. OOB 샘플을 보조 학습 세트로 간주함으로써, 학습 중에 트리 깊이와 학습률을 동적으로 조정함으로써 하이퍼파rameter에 대한 민감도를 감소시키고, 표준 TreeBoost 구현 대비 노이즈가 많은 데이터셋에서 성능을 향상시킨다.

ABSTRACT

Stochastic Gradient TreeBoost is often found in many winning solutions in public data science challenges. Unfortunately, the best performance requires extensive parameter tuning and can be prone to overfitting. We propose PaloBoost, a Stochastic Gradient TreeBoost model that uses novel regularization techniques to guard against overfitting and is robust to parameter settings. PaloBoost uses the under-utilized out-of-bag samples to perform gradient-aware pruning and estimate adaptive learning rates. Unlike other Stochastic Gradient TreeBoost models that use the out-of-bag samples to estimate test errors, PaloBoost treats the samples as a second batch of training samples to prune the trees and adjust the learning rates. As a result, PaloBoost can dynamically adjust tree depths and learning rates to achieve faster learning at the start and slower learning as the algorithm converges. We illustrate how these regularization techniques can be efficiently implemented and propose a new formula for calculating feature importance to reflect the node coverages and learning rates. Extensive experimental results on seven datasets demonstrate that PaloBoost is robust to overfitting, is less sensitivity to the parameters, and can also effectively identify meaningful features.

연구 동기 및 목표

• 노이즈가 많거나 복잡한 데이터에서 흔히 발생하는 Stochastic Gradient TreeBoost(SGTB) 모델의 과적합 문제를 해결하기 위해.
• 학습 중에 학습률과 트리 깊이를 자동 조정하여 광범위한 하이퍼파rameter 튜닝에 대한 의존도를 줄이기 위해.
• OOB 샘플 정규화와 노드 커버리지(coverage)를 통합하여 특징 선택 및 중요도 추정을 향상시키기 위해.
• 더 안정적이고 효율적인 SGTB 변종을 개발하여, 파rameter 설정에 덜 민감하면서도 높은 예측 성능을 유지하기 위해.
• OOB 샘플이 오직 검증 도구를 넘어서 모델 정규화의 활성 구성 요소로 활용될 수 있음을 보여주기 위해.

제안 방법

• OOB 샘플을 사용하여 과적합을 탐지하고 OOB 오차가 감소하지 않을 경우 트리의 리프를 프루닝하는 기울기 인식 프루닝을 도입한다.
• 각 부스팅 단계에서 OOB 오차 추세를 이용해 적응형 학습률을 추정하여 수렴에 가까워질수록 학습 속도를 늦춘다.
• OOB 샘플을 두 번째 학습 배치로 간주하여 이중 단계 학습을 가능하게 한다: 내부 샘플(인배)은 트리 성장을 위한, OOB 샘플은 정규화를 위한.
• 노드 커버리지와 적응형 학습률을 고려한 새로운 특징 중요도 공식을 제안하여 관련성 탐지 능력을 향상시킨다.
• OOB 정규화를 SGTB에 통합하기 위해 효율적인 계산을 구현하여 성능 오버헤드를 최소화한다.
• OOB 오차 모니터링을 활용해 조기 정지와 모델의 압축을 유도하며, 학습 후 트리 제거 가능성도 고려한다.

실험 결과

연구 질문

• RQ1 OOB 샘플은 오차 추정을 넘어서 TreeBoost 학습 정규화에 활성적으로 활용될 수 있는가?
• RQ2 OOB 성능 기반으로 트리 깊이와 학습률을 동적으로 조정하면 일반화 성능 향상과 과적합 감소에 기여하는가?
• RQ3 노드 커버리지와 적응형 학습률을 통합함으로써 PaloBoost는 표준 SGTB보다 더 나은 특징 중요도 추정을 달성할 수 있는가?
• RQ4 제안된 정규화 기법은 학습률, 트리 깊이, 트리 수와 같은 하이퍼파rameter에 대해 얼마나 감소된 민감도를 보이는가?
• RQ5 이러한 정규화 기법은 예측 성능을 훼손하지 않으면서 더 압축된 모델을 가능하게 하는가?

주요 결과

• PaloBoost는 기준 SGTB 모델 대비 현저히 낮은 과적합을 보이며, 테스트 세트에서 성능 저하가 급격히 발생하지 않고 점진적으로 감소한다.
• 모델은 하이퍼파ram터 설정에 덜 민감하다: 일곱 개인 데이터셋 전반에서 다양한 학습률과 트리 깊이 설정에서도 유사한 예측 성능를 유지한다.
• BNP Paribas Claims Management Kaggle 데이터셋과 같이 노이즈가 많은 데이터셋에서는, 최소한의 전처리 조건에서도 PaloBoost가 다른 SGTB 구현보다 뛰어난 성능을 보였다.
• Friedman 시뮬레이션 데이터셋에서 PaloBoost의 새로운 특징 중요도 공식은 관련 특징을 정확히 식별했고, 표준 구현은 실패했다.
• 실제 데이터와 시뮬레이션 데이터를 포함한 다양한 데이터셋에서 안정적인 성능을 기록하여, 복잡하고 노이즈가 많은 환경에서도 강건함을 입증했다.
• PaloBoost의 많은 트리들이 근처 0에 가까운 학습률을 할당받아, 성능 손실 없이 무시할 수 있는 트리를 제거함으로써 모델 압축이 가능할 잠재력이 있다.