[논문 리뷰] Gradient Boosting Machine: A Survey

Zhiyuan He, Danchen Lin외 2명|arXiv (Cornell University)|2019. 08. 19.

Machine Learning and Algorithms참고 문헌 12인용 수 25

한 줄 요약

이 종합적 서베이는 기울기 부스팅 기계(GBM)를 위한 체계적인 수학적 프레임워크를 제공하며, 기울기 하강법을 통한 손실 함수의 반복 최소화 방식으로 정확한 예측 모델을 구축하는 방법을 상세히 기술한다. 선형 검색과 가장 급격은 강하법을 통해 기본 학습자(예: LAD, M-회귀, 로지스틱 회귀 변종)를 체계적으로 유도함으로써 GBM이 회귀, 분류, 랭킹 작업에 있어 강력하고 유연한 도구로 자리매김함을 보여준다.

ABSTRACT

In this survey, we discuss several different types of gradient boosting algorithms and illustrate their mathematical frameworks in detail: 1. introduction of gradient boosting leads to 2. objective function optimization, 3. loss function estimations, and 4. model constructions. 5. application of boosting in ranking.

연구 동기 및 목표

• 다양한 학습 작업 전반에 걸쳐 기울기 부스팅 기계(GBM)에 대한 엄밀한 수학적 기초를 제공하기 위해.
• 반복적 백피팅과 기울기 하강법을 사용한 매개변수 모델 및 비모수 모델의 최적화를 분석하기 위해.
• L1, L2, 허버, 분위수, 베르누이, 지수 손실 함수 등 다양한 손실 함수가 모델 행동과 성능에 미치는 영향을 검토하기 위해.
• 정보 검색에서 NDCG를 최적화하기 위해 GBM이 랭킹 알고리즘, 특히 LambdaMART와 어떻게 통합되는지 보여주기 위해.
• 유한 표본 및 비모수 설정에서 선형 검색과 기울기 계산을 통한 모델 업데이트 유도를 체계적으로 정의하기 위해.

제안 방법

• 모델 출력에 대한 손실 함수의 기울기를 계산하여 경험적 리스크를 반복적으로 최소화하기 위해 가장 급격은 강하법 최적화를 사용한다.
• 탐욕적이고 단계별로 추가되는 모델 구조: $ F_m(x) = F_{m-1}(x) + \beta_m h(x; a_m) $, 여기서 각 기본 학습자 $ h $ 는 손실의 음의 기울기로 피팅된다.
• 선형 검색을 통해 최적의 스텝 크기 $ \rho_m $ 를 유도한다: $ \rho_m = \arg\min_\rho \mathbb{E}_{y,x} L(y, F_{m-1}(x) - \rho g_m(x)) $.
• L1, L2, 허버, 분위수 등 다양한 손실 함수를 적용하여 회귀, 강건한 회귀, 또는 분위수 추정에 적합한 모델을 설계한다.
• 다중 클래스 분류에서 합이 0이 되는 조건을 강제하기 위해 벡터 트리를 도입하여 분할 이득과 노드 값을 명시적으로 계산할 수 있도록 한다.
• NDCG 정규화 기울기(람다 기울기) $ \gamma_{ij} = S_{ij} \left| \frac{\partial \Delta \text{NDCG}}{\partial o_{ij}} \right| $ 를 사용하여 GBM 프레임워크를 랭킹에 적응시키며, 모델 업데이트를 이끌어낸다.

실험 결과

연구 질문

• RQ1 기능적 기울기 하강법과 손실 최소화 관점에서 기울기 부스팅을 어떻게 체계적으로 도출할 수 있는가?
• RQ2 GBM 내에서 다양한 손실 함수(L1, L2, 허버, 분위수 등)의 수학적 성질과 최적화 절차는 무엇인가?
• RQ3 구조적 목표를 가진 다중 클래스 분류 및 랭킹 문제를 다룰 수 있도록 GBM 프레임워크를 어떻게 확장할 수 있는가?
• RQ4 다중 클래스 로지스틱 회귀에서 합이 0이 되는 조건을 GBM 내에 통합하기 위해 필요한 수정 사항은 무엇인가?
• RQ5 LambdaMART에서 람다 기울기를 사용할 경우 표준 GBM 대비 랭킹 성능이 어떻게 향상되는가?

주요 결과

• GBM 프레임워크는 분류를 넘어 다양한 손실 함수에 적용 가능한 기능적 기울기 하강법을 사용함으로써 AdaBoost를 일반화한다.
• LAD 회귀의 경우, 각 영역에서 최적의 업데이트는 잔차의 중앙값이며, $ \gamma_{jm} = \text{median}_{x_i \in R_{jm}} \{ y_i - F_{m-1}(x_i) \} $ 로 표현되며, 이는 이상치에 대해 강건함을 보장한다.
• 허버 손실을 사용한 M-회귀의 경우, 중앙값 기반 보정을 통해 업데이트가 계산된다: $ \gamma_{jm} = \widetilde{r_{jm}} + \frac{1}{N_{jm}} \sum \text{sign}(r_{m-1}(x_i) - \widetilde{r_{jm}}) \cdot \min(\delta_m, |r_{m-1}(x_i) - \widetilde{r_{jm}}|) $.
• 이중 클래스 로지스틱 회귀의 경우, 선형 검색 단계는 변환된 잔차를 사용해 근사화된다: $ \gamma_{jm} = \sum \widetilde{y_i} / \sum |\widetilde{y_i}|(2 - |\widetilde{y_i}|) $, 여기서 $ \widetilde{y_i} = 2\widetilde{y_i}/(1 + \exp(2y_i F_{m-1}(x_i))) $.
• 다중 클래스 로지스틱 회귀의 경우, 업데이트 규칙은 $ \gamma_{jkm} = \frac{K-1}{K} \cdot \frac{\sum \widetilde{y_{ik}}}{\sum |\widetilde{y_{ik}}|(1 - |\widetilde{y_{ik}}|)} $ 로 표현되며, 이는 확률 제약 조건 하에서 효율적인 최적화를 가능하게 한다.
• 랭킹의 경우, LambdaMART는 람다 기울기 $ \gamma_{ij} = S_{ij} \left| \frac{\partial \Delta \text{NDCG}}{\partial o_{ij}} \right| $ 를 사용하며, 여기서 $ S_{ij} = 1 $ 이면 항목 $ i $ 가 $ j $ 보다 더 관련성이 높다고 간주된다. 이를 통해 직접적으로 랭킹 품질을 최적화할 수 있다.