[論文レビュー] PaloBoost: An Overfitting-robust TreeBoost with Out-of-Bag Sample Regularization Techniques

Yubin Park, Joyce C. Ho|arXiv (Cornell University)|Jul 22, 2018

Machine Learning and Data Classification参考文献 32被引用数 6

ひとこと要約

PaloBoostは、勾配に適応した刈り込みと適応的学習率推定に袋だ出（OOB）サンプルを活用することで、過学習に対する耐性を高める確率的勾配木ブースティング（SGTB）モデルである。OOBサンプルを第2の訓練セットとして扱うことで、学習中に木の深さと学習率を動的に調整し、ハイパーパrameterへの感受性が低く、ノイズの多いデータセットにおいて従来のTreeBoost実装よりも優れた性能を発揮する。

ABSTRACT

Stochastic Gradient TreeBoost is often found in many winning solutions in public data science challenges. Unfortunately, the best performance requires extensive parameter tuning and can be prone to overfitting. We propose PaloBoost, a Stochastic Gradient TreeBoost model that uses novel regularization techniques to guard against overfitting and is robust to parameter settings. PaloBoost uses the under-utilized out-of-bag samples to perform gradient-aware pruning and estimate adaptive learning rates. Unlike other Stochastic Gradient TreeBoost models that use the out-of-bag samples to estimate test errors, PaloBoost treats the samples as a second batch of training samples to prune the trees and adjust the learning rates. As a result, PaloBoost can dynamically adjust tree depths and learning rates to achieve faster learning at the start and slower learning as the algorithm converges. We illustrate how these regularization techniques can be efficiently implemented and propose a new formula for calculating feature importance to reflect the node coverages and learning rates. Extensive experimental results on seven datasets demonstrate that PaloBoost is robust to overfitting, is less sensitivity to the parameters, and can also effectively identify meaningful features.

研究の動機と目的

• ノイズや複雑なデータ下で一般的に見られる過学習問題に取り組むこと。特に、確率的勾配木ブースティング（SGTB）モデルにおいて。
• 学習率と木の深さの調整を学習中に自動化することで、ハイパーパrameterのチューニングに依存するのを減らすこと。
• OOBサンプルの正則化とノードカバレッジを組み込むことで、特徴選択と重要度推定を改善すること。
• パrameter設定への感受性が低く、高い予測性能を維持するより安定的かつ効率的なSGTBの変種を開発すること。
• OOBサンプルが単なる検証ツールを超えて、モデル正則化の活性的要素として再利用可能であることを示すこと。

提案手法

• OOBエラーが低下しなくなった際に、OOBサンプルを用いて過学習を検出し、木の葉を刈り込む勾配に適応した刈り込みを導入する。
• 各ブースティング段階でOOBエラーの傾向を用いて適応的学習率を推定し、収束に近づくにつれて学習を遅くする。
• OOBサンプルを第2の訓練バッチとして扱い、二段階訓練を実現する：袋内サンプルで木の成長を、OOBサンプルで正則化を実施する。
• ノードカバレッジと適応的学習率を考慮した新しい特徴重要度の式を提案し、関連性の検出を向上させる。
• OOB正則化をSGTBに統合する際に性能オーバーヘッドを最小限に抑えるための効率的計算を実装する。
• OOBエラーのモニタリングを活用して早期停止とモデルのコンactさを導き、学習後における木の削除を可能にする。

実験結果

リサーチクエスチョン

• RQ1 OOBサンプルは、誤差推定を越えて、TreeBoostにおけるモデル訓練の正則化に積極的に再利用可能か？
• RQ2 OOBパフォーマンスに基づく木の深さと学習率の動的調整は、一般化性能の向上と過学習の低減に寄与するか？
• RQ3 ノードカバレッジと適応的学習率を組み込むことで、PaloBoostは標準的なSGTB実装よりも優れた特徴重要度推定が可能か？
• RQ4 提案された正則化手法は、学習率、木の深さ、および木の数といったハイパーパrameterへの感受性をどの程度低減するか？
• RQ5 提案された正則化技術は、予測性能を損なわずによりコンパクトなモデルを実現できるか？

主な発見

• PaloBoostは、ベースラインのSGTBモデルと比較して著しく過学習が低減しており、テストセットでの性能低下が急激ではなく、徐々に進行する。
• モデルはハイパーパrameter設定への感受性が低い：7つのデータセットすべてで、異なる学習率と木の深さでも同等の予測性能を示した。
• BNP Paribas Claims Management Kaggleデータセットのようなノイズの多いデータセットでも、PaloBoostは他のSGTB実装を上回った。特に前処理を最小限に抑えた状態でも同様の結果を達成した。
• Friedmanシミュレーテッドデータセットでは、PaloBoostの新しい特徴重要度式が関連する特徴を正確に特定したが、標準的な実装では失敗した。
• 実世界およびシミュレーテッドデータを含む多様なデータセットで安定した性能を発揮し、複雑でノイズの多い環境下でも耐性があることを示した。
• PaloBoostの多くの木がほぼゼロの学習率を割り当てられていたため、性能に損なわれることなく無視できる木を削除することでモデル圧縮が可能である可能性が示された。