[論文レビュー] Automatic Gradient Boosting

Janek Thomas, Stefan Coors+1 more|arXiv (Cornell University)|Jul 10, 2018

Stochastic Gradient Optimization Techniques被引用数 7

ひとこと要約

本論文では、ベイズ最適化を用いてハイパーパramータのチューニング、しきい値の最適化、およびカテゴリカル特徴量のエンコーディングを自動化するAutoMLフレームワークであるautoxgboostを提案する。単一のアルゴリズムに焦点を当ててもかまわず、2つのデータセットで最先端の性能を達成し、16個のベンチマークデータセットの半数で競争力のある結果を示しており、解釈可能性とデプロイ能力に優れた単一ラーナーAutoMLの実現可能性を示している。

ABSTRACT

Automatic machine learning performs predictive modeling with high performing machine learning tools without human interference. This is achieved by making machine learning applications parameter-free, i.e. only a dataset is provided while the complete model selection and model building process is handled internally through (often meta) optimization. Projects like Auto-WEKA and auto-sklearn aim to solve the Combined Algorithm Selection and Hyperparameter optimization (CASH) problem resulting in huge configuration spaces. However, for most real-world applications, the optimization over only a few different key learning algorithms can not only be sufficient, but also potentially beneficial. The latter becomes apparent when one considers that models have to be validated, explained, deployed and maintained. Here, less complex model are often preferred, for validation or efficiency reasons, or even a strict requirement. Automatic gradient boosting simplifies this idea one step further, using only gradient boosting as a single learning algorithm in combination with model-based hyperparameter tuning, threshold optimization and encoding of categorical features. We introduce this general framework as well as a concrete implementation called autoxgboost. It is compared to current AutoML projects on 16 datasets and despite its simplicity is able to achieve comparable results on about half of the datasets as well as performing best on two.

研究の動機と目的

• 組み合わせ的アルゴリズム選択ではなく、強力な1つのアルゴリズム（勾配ブースティング）に焦点を当てることで、AutoMLの簡素化を図ること。
• 実世界の応用において、バリデーション、デプロイ、解釈が容易なように、モデルの複雑さを低減すること。
• ハイパーパramータチューニング、しきい値最適化、および特徴量前処理の自動化により、人為的介入を最小限に抑えた高い性能を達成すること。
• 単一ラーナーAutoMLアプローチが、予測性能においてマルチラーナーAutoMLフレームワーク（例：auto-sklearn や Auto-WEKA）と同等またはそれを上回ることを評価すること。

提案手法

• フレームワークは、その強固さと優れた予測性能から、XGBoostを唯一の学習アルゴリズムとして採用している。
• ハイパーパramータは、事前に定義された探索空間（学習率、最大深さ、サブサンプル、L1/L2正則化）を用いてベイズ最適化によりチューニングされる。
• 分類タスクでは、デフォルトのしきい値を超える精度向上を図るために、最適な意思決定しきい値を反復的に最適化する。
• カテゴリカル特徴量は、スムージングを施したターゲットエンコーディングを用いて処理され、非数値入力を効果的に扱う。
• パイプラインには、欠損値の処理や特徴量スケーリングを含む自動的なデータ前処理が含まれる。
• すべてのワークフローが自動化されており、入力としてデータセットのみが必要で、モデル選択や設定に関する人為的介入は一切不要である。

実験結果

リサーチクエスチョン

• RQ1 勾配ブースティングに基づく単一ラーナーAutoMLシステムは、auto-sklearn や Auto-WEKA といったマルチラーナーAutoMLフレームワークと比較して、競争力のある性能を達成できるか？
• RQ2 1つのアルゴリズムに焦点を当てることで、実世界の環境におけるモデルの解釈可能性とデプロイ能力が向上するか？
• RQ3 ベイズ最適化は、XGBoostの包括的なハイパーパramータとしきい値のチューニングにどの程度効果的か？
• RQ4 自動化されたカテゴリカル特徴量エンコーディングとしきい値最適化は、分類性能の向上に顕著な効果をもたらすか？
• RQ5 多様な特徴を持つさまざまなデータセットにおいて、単一アルゴリズムAutoMLシステムの性能は頑健か？

主な発見

• autoxgboostは、2つのデータセット（Dexter および Semeion）で、Auto-WEKA や auto-sklearn を上回る最高の性能を達成した。
• 16個のデータセットのうち9つでは、auto-sklearn が最高の性能を記録しており、これはマルチラーナーアンサンブルが多くの場合で優位性を示していることを示している。
• autoxgboostは、およそ半数のデータセットで競争力のある結果を達成しており、いくつかのベンチマークでは auto-sklearn と5%以内の中央誤差差で推移した。
• Secomを除くすべてのデータセットで、マジョリティクラスベースラインを著しく上回ったことから、本フレームワークの適切な機能性と有効性が確認された。
• XGBoostという明確で理解しやすい1つのアルゴリズムを採用しているため、特徴量の重要度やSHAP値によるモデルの解釈可能性が向上した。
• ハイパーパramータ探索空間が小さいにもかかわらず、autoxgboostは優れた性能を示した。これは、1つのアルゴリズムの徹底的なチューニングが極めて有効である可能性を示唆している。