[논문 리뷰] Gradient Boosted Binary Histogram Ensemble for Large-scale Regression

Hanyuan Hang, Tao Huang외 3명|arXiv (Cornell University)|2021. 06. 03.

Sparse and Compressive Sensing Techniques참고 문헌 34인용 수 7

한 줄 요약

이 논문은 기울기 부스팅과 무작위 회전 및 이진 히스토그램 분할을 통한 앙상블 학습을 융합한 새로운 대규모 회귀 알고리즘인 기울기 부스팅 이진 히스토그램 앙상블(GGBHE)을 제안한다. 기울기 부스팅 기반의 앙상블을 사용하고, 이를 통해 수렴 속도가 빠르고 계산 효율성이 뛰어나며, 허들러 연속 함수 공간에서 이론적 보장을 갖는다. 대규모 데이터셋에서 GBRT, 랜덤 포레스트 및 커널 방법보다 경험적으로 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we propose a gradient boosting algorithm for large-scale regression problems called extit{Gradient Boosted Binary Histogram Ensemble} (GBBHE) based on binary histogram partition and ensemble learning. From the theoretical perspective, by assuming the Hölder continuity of the target function, we establish the statistical convergence rate of GBBHE in the space $C^{0,α}$ and $C^{1,0}$, where a lower bound of the convergence rate for the base learner demonstrates the advantage of boosting. Moreover, in the space $C^{1,0}$, we prove that the number of iterations to achieve the fast convergence rate can be reduced by using ensemble regressor as the base learner, which improves the computational efficiency. In the experiments, compared with other state-of-the-art algorithms such as gradient boosted regression tree (GBRT), Breiman's forest, and kernel-based methods, our GBBHE algorithm shows promising performance with less running time on large-scale datasets.

연구 동기 및 목표

• 기존 부스팅 알고리즘의 대규모 고차원 회귀 문제에서의 한계를 해결하기 위해 계산 효율성과 통계적 안정성을 향상시키기 위해.
• 기존 히스토그램의 고차원에서의 지수적 셀 증가 문제를 이진 히스토그램 분할과 무작위 회전을 통해 해결하기 위해.
• C^{0,\beta} 및 C^{1,0} 공간에서 부스팅의 이론적 수렴 속도를 확립하고, 앙상블 기반 학습기의 사용을 통해 일반화 성능 향상과 반복 횟수 감소를 입증하기 위해.
• 최신 기술인 GBRT 및 랜덤 포레스트와 비교해 훈련 시간을 단축하면서도 강력한 경험적 성능을 유지하는 확장 가능한 알고리즘을 설계하기 위해.

제안 방법

• GBBHE는 입력 특징의 무작위 회전을 통해 기반 학습기 간의 다양성을 높이고 상관관계를 감소시킨다.
• 이진 히스토그램 분할은 입력 공간을 깊이가 동일한 셀로 나누어 균형 잡힌 분할을 보장하고 고차원 희소성에 의한 과적합을 방지한다.
• 각 부스팅 반복 단계에서 다수의 회전된 이진 히스토그램 앙상블을 생성하고 평균을 내어 안정적인 기반 학습기를 형성함으로써 일반화 성능을 향상시킨다.
• 알고리즘은 잔차를 앙상블 기반 학습기를 사용해 피팅함으로써 경험 리스크를 반복적으로 최소화하기 위해 기울기 하강법을 적용한다.
• 과적합을 제어하고 고차원 환경에서의 안정성을 확보하기 위해 정규화된 경험 리스크 최소화를 통합한다.
• 이론적 분석을 통해 허들러 공간에서의 수렴 속도를 확립하였으며, C^{1,0} 공간에서 앙상블 기반 학습기를 사용할 경우 반복 효율성이 향상됨을 보였다.

실험 결과

연구 질문

• RQ1 무작위로 회전된 이진 히스토그램 앙상블을 사용하는 기울기 부스팅 프레임워크가 대규모 회귀에서 더 빠른 수렴과 더 나은 일반화 성능을 달성할 수 있는가?
• RQ2 앙상블 기반 학습기를 사용할 경우 C^{1,0} 공간에서 최적 수렴에 도달하기 위해 필요한 반복 횟수에 어떤 영향을 미치는가?
• RQ3 GBBHE의 이론적 수렴 속도는 허들러 연속 함수 공간 C^{0,\beta} 및 C^{1,0}에서 어떻게 되는가?
• RQ4 대규모 데이터셋에서 GBBHE는 GBRT, 랜덤 포레스트 및 커널 기반 방법과 비교해 계산 효율성과 예측 정확도에서 어떻게 성능을 내는가?
• RQ5 무작위 회전과 이진 히스토그램 분할의 조합이 고차원 회귀에서 차원의 극복 문제를 완화시킬 수 있는가?

주요 결과

• GBBHE는 C^{0,\beta} 공간에서 이론적 수렴 속도 O(n^{\frac{\beta}{2\beta + d}})를 달성하고, C^{1,0} 공간에서는 O(n^{-\frac{1}{2}})를 기록하며, 앙상블 기반 학습기를 사용할 경우 반복 효율성이 향상된다.
• C^{1,0} 공간에서 빠른 수렴에 도달하기 위해 필요한 반복 횟수가 앙상블 기반 학습기를 사용할 경우 감소하여 계산 효율성이 향상된다.
• 경험적 결과는 대규모 데이터셋에서 GBBHE가 GBRT, 랜덤 포레스트 및 커널 기반 방법보다 정확도와 실행 시간 모두에서 뛰어난 성능을 보임을 보여준다.
• 초과 리스크의 하한은 c_0 n^{\frac{\beta}{2\beta + d}} \vee c_1이며, 여기서 c_0와 c_1는 데이터 분포와 노이즈에 따라 결정되는 상수이다.
• 무작위 회전과 히스토그램 앙상블에 의해 도입된 다양성 덕분에 회귀 함수의 전역적인 매끄러움을 유지한다.
• 표준 히스토그램의 지수적 셀 증가 문제를 피하기 위해 매번 한 차원씩만 분할하므로 고차원 데이터에 적합하다.