[論文レビュー] Learning Nonlinear Functions Using Regularized Greedy Forest

Rie Johnson, Tong Zhang|arXiv (Cornell University)|Sep 5, 2011

Neural Networks and Applications参考文献 20被引用数 13

ひとこと要約

本論文は、構造的決定木フォレストを用いた非線形関数の直接学習を可能にする、正則化付き勾配フォレスト（RGF）を提案する。勾配ブースティングとは異なり、RGFは木構造と正則化を明示的に活用しており、一般損失関数を用いた複数のデータセットにおいて、GBDTよりも高い精度とより小さなモデルを達成している。

ABSTRACT

We consider the problem of learning a forest of nonlinear decision rules with general loss functions. The standard methods employ boosted decision trees such as Adaboost for exponential loss and Friedman's gradient boosting for general loss. In contrast to these traditional boosting algorithms that treat a tree learner as a black box, the method we propose directly learns decision forests via fully-corrective regularized greedy search using the underlying forest structure. Our method achieves higher accuracy and smaller models than gradient boosting (and Adaboost with exponential loss) on many datasets.

研究の動機と目的

• 決定木フォレストの学習をブラックボックスとして扱う代わりに、木構造を活用する直接的学習手法の開発。
• ブースティングをラッパーに基づく手法にとどめず、最適化プロセスに木構造の正則化を統合することによる拡張。
• 勾配ブースティングなどの既存手法よりも、多様な学習タスクにおいて一般化性能とモデル効率を向上させること。
• 回帰、二値分類、ペairワイズ順序学習を含む一般損失関数のサポート。
• 構造的フォレストにおける完全補正最適化が、標準的ブースティングに比べて優れた性能を発揮することの実証。

提案手法

• RGFは、決定木の加法モデルに対する完全補正正則化勾配最適化として、決定フォレスト学習を定式化する。
• モデルの複雑さを制御し、一般化性能を向上させるために、具体的にはL2正則化と最小値ペナルティ正則化を導入する。
• アルゴリズムは、フォレストの成長（新しい木の追加）と、正則化損失に対する座標降下法によるリーフ重みの完全補正を交互に繰り返す。
• トレーニング中に偏微分と正則化項を効率的に計算するために、事前にソートされたデータとスパース行列表現を用いる。
• 最小二乗損失、ロジスティック損失、ペアワイズ順序学習損失を含む一般損失関数をサポートし、広範な適用可能性を実現する。
• 二段階のトレーニングプロセスを採用する：正則化付きフォレスト成長、その後に一般化性能向上のための繰り返し重み最適化。

実験結果

リサーチクエスチョン

• RQ1 決定木フォレストの直接的で構造に配慮した学習手法は、標準的勾長ブースティングを上回る精度とモデル効率を達成できるか？
• RQ2 木構造の正則化を組み込むことで、非線形関数学習における一般化性能が向上するか？
• RQ3 決定フォレストにおける完全補正最適化戦略は、インクリメンタルブースティングに比べて優れた性能を発揮するか？
• RQ4 多様なデータセットと損失関数において、RGFはGBDTやAdaboostに比べてどのように比較されるか？
• RQ5 実世界の応用において、RGFの計算コストはその性能向上によって正当化されるか？

主な発見

• 53のデータセットすべてで、RGFはGBDTよりも低い誤差を達成し、平均誤差差は0.0005であった。これは一貫した優位性を示している。
• トレーニングデータの4対1の分割において、RGFはすべてのモデルサイズでGBDTを上回る精度を達成しており、同等の性能に到達するためのより小さなモデルが要求されることを示唆している。
• LetterデータセットにおけるRGFのパラメータ選定は128秒で完了したが、GBDTでは191秒かかっており、ハイパーパramータチューニングにおいてRGFがより効率的である可能性を示している。
• 個々のトレーニング時間が長くても、RGFの高い精度（スツンを用いたAdaboostに比べ12%優れている）が、その計算コストを正当化している。
• 回帰、二値分類、ペアワイズ順序学習の各タスクにおいて、一貫した性能向上が確認された。
• 最小値ペナルティ正則化の導入により、実行時間はO(ndℓz)からO(ndℓ) + O(ℓz²)に短縮され、大幅な効率向上が達成された。