[논문 리뷰] Accelerating Gradient Boosting Machine

Haihao Lu, Sai Praneeth Karimireddy외 2명|arXiv (Cornell University)|2019. 03. 20.

Stochastic Gradient Optimization Techniques참고 문헌 35인용 수 5

한 줄 요약

이 논문은 약간의 수정된 가짜 잔차를 통해 네스터로프 모멘텀을 통합함으로써 O(1/m²) 수렴 속도를 달성하는 이론적으로 정당화된 최초의 가속화된 GBM인 가속화된 기울기 부스팅 머신(AGBM)을 제안한다. 표준 GBM보다 훈련 손실 감소에서 뛰어나며, 특히 조기 정지와 함께 사용할 경우 대규모 또는 복잡한 데이터셋에서 더 빠른 수렴을 가능하게 한다.

ABSTRACT

Gradient Boosting Machine (GBM) is an extremely powerful supervised learning algorithm that is widely used in practice. GBM routinely features as a leading algorithm in machine learning competitions such as Kaggle and the KDDCup. In this work, we propose Accelerated Gradient Boosting Machine (AGBM) by incorporating Nesterov's acceleration techniques into the design of GBM. The difficulty in accelerating GBM lies in the fact that weak (inexact) learners are commonly used, and therefore the errors can accumulate in the momentum term. To overcome it, we design a "corrected pseudo residual" and fit best weak learner to this corrected pseudo residual, in order to perform the z-update. Thus, we are able to derive novel computational guarantees for AGBM. This is the first GBM type of algorithm with theoretically-justified accelerated convergence rate. Finally we demonstrate with a number of numerical experiments the effectiveness of AGBM over conventional GBM in obtaining a model with good training and/or testing data fidelity.

연구 동기 및 목표

• 표준 기울기 부스팅 머신(GBM)에서 이론적 수렴 보장이 부족한 문제, 특히 느린 O(1/m) 수렴 속도를 해결하기 위해.
• 볼록 최적화에서 유래한 가속 기법을 활용해 수렴 속도가 더 빠른 GBM 변종을 개발하기 위해.
• 약한 학습기에서 사용하는 모멘텀 항에 누적 오차 문제가 발생하는 것을 극복하기 위해.
• 모든 약한 학습기(예: 트리 및 오블리비어스 학습기 포함)와 호환되면서도 이론적 엄밀성을 유지하는 방법을 설계하기 위해.
• 가속 수렴이 실제로 더 빠른 훈련과 동등하거나 더 나은 테스트 성능로 이어지는지 경험적으로 검증하기 위해.

제안 방법

• 약한 학습기 피팅을 위한 새로운 목표로 표준 잔차 대신 수정된 가짜 잔차를 도입하여 z-업데이트 단계에서 사용한다.
• 볼록 최적화에서 유래한 네스터로프 모멘텀 기법을 GBM 프레임워크에 적응시켜 가속 수렴을 가능하게 한다.
• 근사 학습기에서 오차가 누적되지 않도록 하는 방식으로 모멘텀과 기울기 강하를 조합한 새로운 업데이트 규칙을 유도한다.
• 기능적 기울기 강하 관점에서 GBM을 최적화 문제로 재구성함으로써 일阶 가속 방법의 적용을 가능하게 한다.
• 두 단계 업데이트를 사용한다: 모멘텀을 사용한 예측 업데이트와 수정된 가짜 잔차를 통한 보정 단계로 수렴을 보장한다.
• 모든 약한 학습기(예: 결정 트리 등)를 피팅 단계에서 사용할 수 있도록 기존 GBM 라이브러리와의 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 정확하지 않은 약한 학습기를 사용하는 상황에서도 네스터로프의 가속 기법이 GBM 프레임워크에 성공적으로 적응될 수 있는가?
• RQ2 제안된 AGBM이 경험적 손실 감소 측면에서 표준 GBM보다 더 빠른 이론적 수렴 속도를 달성하는가?
• RQ3 수정된 가짜 잔차가 부스팅 반복 과정에서 모멘텀 항의 오차 누적 문제를 어떻게 완화하는가?
• RQ4 더 빠른 훈련 수렴에도 불구하고 AGBM은 GBM과 동등하거나 더 나은 일반화 성능을 달성할 수 있는가?
• RQ5 학습률 및 조기 정지와 같은 하이퍼파rameter가 AGBM의 과적합 행동에 미치는 영향은 무엇인가?

주요 결과

• AGBM은 m번의 반복 후 O(1/m²)의 이론적 수렴 속도를 달성하며, 표준 GBM의 O(1/m) 수렴 속도보다 크게 향상된다.
• 경험적 결과로 AGBM은 a1a 데이터셋에서 모든 테스트 학습률(η = 1, 0.1, 0.01)에 대해 GBM보다 훈련 손실 감소가 더 빠르게 나타난다.
• 더 빠른 훈련 수렴에도 불구하고, AGBM은 작고 단순한 데이터셋(예: Housing)에서는 테스트 손실에서 조기 과적합이 발생하는 경향이 있다. 이는 손실 감소 속도가 매우 빠르기 때문이다.
• 조기 정지를 사용할 경우, AGBM은 GBM과 동등하거나 더 나은 테스트 성능을 달성하며, 최적 성능에 도달하기 위해 필요한 트리 수가 일반적으로 적다.
• 더 큰 또는 더 복잡한 데이터셋에서는 AGBM의 더 빠른 수렴 덕분에 좋은 일반화 성능을 보이는 더 작은 앙상블를 구성할 수 있으며, 이는 확장 가능한 응용 분야에 유리하다.
• 수정된 가짜 잔차는 수렴을 유지하는 데 필수적이며, 단순한 모멘텀 적용은 발산을 유도함을 아블레이션 연구에서 입증되었다.