[논문 리뷰] CatBoost: unbiased boosting with categorical features

Liudmila Prokhorenkova, Gleb Gusev외 3명|arXiv (Cornell University)|2017. 06. 28.

Anomaly Detection Techniques and Applications참고 문헌 27인용 수 1,125

한 줄 요약

CatBoost는 순서 부스팅과 순서 기반 타깃 통계 접근법을 도입하여 범주형 특성의 예측 편향을 줄이고, XGBoost와 LightGBM에 비해 다양한 작업에서 성능을 향상시킵니다.

ABSTRACT

This paper presents the key algorithmic techniques behind CatBoost, a new gradient boosting toolkit. Their combination leads to CatBoost outperforming other publicly available boosting implementations in terms of quality on a variety of datasets. Two critical algorithmic advances introduced in CatBoost are the implementation of ordered boosting, a permutation-driven alternative to the classic algorithm, and an innovative algorithm for processing categorical features. Both techniques were created to fight a prediction shift caused by a special kind of target leakage present in all currently existing implementations of gradient boosting algorithms. In this paper, we provide a detailed analysis of this problem and demonstrate that proposed algorithms solve it effectively, leading to excellent empirical results.

연구 동기 및 목표

• 타깃 누출로 인해 발생하는 예측 시프트를 부스팅과 범주형 특징 처리 모두에서 해결하기 위한 그래디언트 부스팅 방법의 동기를 제시합니다.
• 역사-일관 잔차를 사용하여 누출을 방지하기 위한 순서 부스팅을 개발한다.
• 고카디널리티(high-cardinality) 범주형 특징을 순서형 타깃 통계와 특징 조합을 통해 효율적으로 처리한다.
• 다수의 데이터셋에서 CatBoost의 성능 우위가 최첨단 부스터들보다 실증적으로 우수하다는 것을 보여준다.

제안 방법

• 표준 그래디언트 부스팅의 순열 주도 대안으로서 타깃 누출을 피하기 위해 순서 부스팅을 도입한다.
• 무작위 순열을 이용한 순서를 원리로 타깃 통계(TS)를 계산하여 학습 타깃이 누출되지 않도록 한다.
• 각 순열마다 계산된 순서형 TS로 범주형 특징을 처리하여 모든 학습 데이터를 효율적으로 활용할 수 있게 한다.
• 타깃 통계와 그래디언트를 순열 기반 잔차와 결합하는 트리 구축 절차를 이용하여 무지향 결정 트리를 활용한다.
• 타깃 통계와 예측의 안정화를 위해 다중 순열을 적용하고, 정규화를 위한 선택적 Bayesian 부트스트랩 하위샘플링을 사용한다.
• 두 가지 부스팅 모드(Ordered와 Plain)를 제공하고 효율성을 유지하기 위한 실용적 구현 세부 정보를 제시한다.

실험 결과

연구 질문

• RQ1 그래디언트 부스팅에서 타깃 누출(예측 시프트)은 어떻게 발생하며 이를 어떻게 완화할 수 있는가?
• RQ2 순서 부스팅과 순서형 타깃 통계가 누출을 제거하면서 예측 성능을 유지하거나 개선할 수 있는가?
• RQ3 범주형 특징에 대한 CatBoost의 접근법은 정확도와 효율성 측면에서 원-핫 인코딩과 그래디언트 통계와 어떻게 비교되는가?
• RQ4 제안된 방법들이 다양한 데이터셋에서 선도적인 부스팅 라이브러리(XGBoost, LightGBM)보다 일관된 개선을 보이는가?

주요 결과

• CatBoost는 순서 부스팅과 순서 TS를 사용하여 다양한 데이터셋에서 XGBoost와 LightGBM보다 우수하다.
• 순서 부스팅은 예측 편향을 줄이고 단계 간 독립 잔차를 사용할 때 거의 편향이 없는 추정치를 달성한다; 각 단계에서 동일한 데이터를 사용하면 측정 가능한 편향이 발생한다.
• 순서 TS는 범주형 특징에 대해 그리디, 홀드아웃, leave-one-out TS 접근법에 비해 현저히 개선된다.
• 순서 부스팅은 특히 작은 데이터셋에서 유리하고, Plain 모드는 큰 데이터셋에서 여전히 경쟁력이 있다.
• 범주형 특징의 조합을 추가 TS 특징으로 활용하면 logloss에서 상당한 이득이 있다.
• CatBoost는 제안된 기법의 이점을 보존하면서 표준 GBDT와 비슷한 복잡도로 실용적인 효율성을 제공합니다.