[論文レビュー] InfiniteBoost: building infinite ensembles with gradient descent

Alex Rogozhnikov, Tatiana Likhomanenko|arXiv (Cornell University)|Jun 4, 2017

Image Retrieval and Classification Techniques参考文献 14被引用数 7

ひとこと要約

InfiniteBoost は、勾配ブースティングの誤差補正メカニズムとランダムフォレストの無限に拡大可能で過学習を起こさない能力を組み合わせた、新しいアンサンブル学習アルゴリズムである。容量パラメータと正規化を用いた連続的勾配降下フレームワークにより、性能が漸近的に安定する任意に大きなアンサンブルが可能となり、正則化ハイパーパrameterのチューニングの必要がなくなり、回帰、分類、ランク付けのタスクにおいてランダムフォレストや勾配ブースティングを凌駕または同等の性能を発揮する。

ABSTRACT

In machine learning ensemble methods have demonstrated high accuracy for the variety of problems in different areas. Two notable ensemble methods widely used in practice are gradient boosting and random forests. In this paper we present InfiniteBoost - a novel algorithm, which combines important properties of these two approaches. The algorithm constructs the ensemble of trees for which two properties hold: trees of the ensemble incorporate the mistakes done by others; at the same time the ensemble could contain the infinite number of trees without the over-fitting effect. The proposed algorithm is evaluated on the regression, classification, and ranking tasks using large scale, publicly available datasets.

研究の動機と目的

• 大規模なアンサンブルを使用する勾配ブースティングにおける過学習の問題に対処し、スケーラビリティを向上させること。
• 勾配ブースティングの誤差補正の強みとランダムフォレストの無限スケーラビリティを統合すること。
• 連続的かつ正規化された更新メカニズムを導入することで、勾配ブースティングにおける正則化ハイパーパrameterのチューニングの必要性を排除すること。
• 木の数が無限に近づくにつれてアンサンブル性能が安定した極限に収束するフレームワークを構築すること。

提案手法

• アルゴリズムは関数空間における連続的勾配降下の定式化を用い、正規化された木の追加ステップによってアンサンブルを更新する。
• 各新しい木は、現在のアンサンブル予測に対する損失関数の負の勾配を最小化するように訓練される。
• 各新しい木の効果的寄与度を制御するための容量パラメータが導入される。これにより、アンサンブルの拡大に伴う安定性が保証される。
• 正規化ステップにより、新しい木がスケーリングされ、アンサンブル全体の大きさが一定に保たれ、発散を防ぐ。
• 正則化を避けるために、アンサンブル内の有効な木の数に基づく動的スケーリング係数が使用される。
• アルゴリズムは、木の数が増加するにつれて関数空間において固定点に収束するように設計されており、一般化性能が保証される。

実験結果

リサーチクエスチョン

• RQ1 ランダムフォレストのように、過学習を伴わず無限の木を許容するブースティングアルゴリズムを設計できるか？
• RQ2 正則化ハイパーパrameterのチューニングが不要となるように勾配ブースティングを変更できるか、かつ性能を維持または向上できるか？
• RQ3 関数空間における連続的かつ正規化された更新ルールは、木の数が増加するに従ってアンサンブル予測が安定して収束するか？
• RQ4 InfiniteBoost の性能は、多様な学習タスクにおいて標準的な勾配ブースティングやランダムフォレストと比べてどうか？

主な発見

• InfiniteBoost は、回帰、分類、ランク付けのタスクにおいて、最適な正則化を用いたランダムフォレストや勾配ブースティングと同等またはそれ以上の性能を達成する。
• InfiniteBoost の未知データに対する学習曲線は、ある一定の反復回数を過ぎると安定化し、アンサンブルサイズの増加に伴う過学習の欠如と収束を示している。
• 正規化と容量パラメータのおかげで、正則化ハイパーパrameterのチューニングが不要であり、モデルの複雑さが内蔵的に制御される。
• 理論的分析により、InfiniteBoost が木の数が無限に近づくにつれて関数空間において固定点に収束することが証明され、一般化性能が保証される。
• 実験的結果から、標準的な勾配ブースティングがピークを過ぎると性能が低下するのに対し、InfiniteBoost は非常に大きなアンサンブルでも保持された安定した性能を示す。