[論文レビュー] CatBoost: unbiased boosting with categorical features

Liudmila Prokhorenkova, Gleb Gusev+3 more|arXiv (Cornell University)|Jun 28, 2017

Anomaly Detection Techniques and Applications参考文献 27被引用数 1,125

ひとこと要約

CatBoostは順序付きブースティングと順列ベースのターゲット統計アプローチを導入し、カテゴリ特徴を扱う際の予測シフトを減らし、さまざまなタスクにおいてXGBoostおよびLightGBMより性能を向上させる。

ABSTRACT

This paper presents the key algorithmic techniques behind CatBoost, a new gradient boosting toolkit. Their combination leads to CatBoost outperforming other publicly available boosting implementations in terms of quality on a variety of datasets. Two critical algorithmic advances introduced in CatBoost are the implementation of ordered boosting, a permutation-driven alternative to the classic algorithm, and an innovative algorithm for processing categorical features. Both techniques were created to fight a prediction shift caused by a special kind of target leakage present in all currently existing implementations of gradient boosting algorithms. In this paper, we provide a detailed analysis of this problem and demonstrate that proposed algorithms solve it effectively, leading to excellent empirical results.

研究の動機と目的

• ブースティングとカテゴリ特徴処理の両方において、ターゲットリークに起因する予測シフトに対処するために、勾配ブースティング手法を動機づける。
• 履歴一貫性のある残差を用いてリークを防ぐ順序付きブースティングを開発する。
• 順序付きターゲット統計と特徴量の組み合わせを用いて高次元カテゴリ特徴の効率的な処理を提案する。
• 複数のデータセットでCatBoostの性能優位性を実証的に示す。

提案手法

• ターゲットリークを回避するため、標準的な勾配ブースティングに代わる順列駆動の手法として順序付きブースティングを導入する。
• 訓練ターゲットのリークを防ぐため、ランダムな順列を用いた順序原理でターゲット統計（TS）を計算する。
• 各順列ごとに計算された順序付きTSでカテゴリ特徴を処理し、全訓練データを効率的に活用できるようにする。
• oblivious decision treesと、TSと勾配を順列ベースの残差と統合する木構築手法を活用する。
• TSと予測を安定化させるために複数の順列を用い、正規化のための任意のBayesianブートストラップサブサンプリングを適用する。
• 2つのブースティングモード（OrderedとPlain）と、効率性を維持するための実装上の詳細を提供する。

実験結果

リサーチクエスチョン

• RQ1 勾配ブースティングにおいてターゲットリーク（予測シフト）はどのように生じ、どのように緩和できるか。
• RQ2 順序付きブースティングと順序付きターゲット統計は、リークを排除しつつ予測性能を維持または向上させることができるか。
• RQ3 カテゴリ特徴に対するCatBoostのアプローチは、ワンホットエンコーディングや勾配統計と比較して、精度と効率の面でどうか。
• RQ4 提案された手法は、多様なデータセットにおいて主要なブースティングライブラリ（XGBoost、LightGBM）を安定して上回る改善をもたらすか。

主な発見

• CatBoostは順序付きブースティングと順序付きTSを用いて、さまざまなデータセットでXGBoostおよびLightGBMを上回る。
• 順序付きブースティングは予測バイアスを低減し、各ステップで独立した残差を使用した場合にはほぼ非バイアス推定を達成する。一方、各ステップで同じデータを使用すると測定可能なバイアスが生じる。
• 順序付きTSは、カテゴリ特徴に対するグリーディ、ホールドアウト、Leave-One-Out TSアプローチより顕著に改善する。
• 順序付きブースティングは小規模データセットで特に有利であり、Plainモードは大規模データセットでも競争力を保つ。
• カテゴリ特徴の組み合わせを追加のTS特徴として用いると、loglossで顕著な改善を得られる。
• CatBoostは、提案手法の利得を維持しつつ、標準GBDTと同等の複雑さで実用的な効率を提供する。