[論文レビュー] Relevant Ensemble of Trees.

Gitesh Dawer, Adrian Barbu|arXiv (Cornell University)|Sep 16, 2017

Neural Networks and Applications参考文献 20被引用数 4

ひとこと要約

本論文では、独立したブースティングスレッドを用いて並列に多数の多様な木を事前に生成し、その後で小さなサブセットを選択してその葉の重みを損失最適化により精錬することで、コンパクトで解釈可能な木アンサンブルを構築する新しい手法を提案する。この手法は、標準的なブースティングと比較して訓練損失とテスト誤分類誤差を低減するが、制御された木の深さの変動によりモデルの解釈可能性を維持する。

ABSTRACT

Tree ensembles are flexible predictive models that can capture relevant variables and to some extent their interactions in a compact and interpretable manner. Most algorithms for obtaining tree ensembles are based on versions of boosting or Random Forest. Previous work showed that boosting algorithms exhibit a cyclic behavior of selecting the same tree again and again due to the way the loss is optimized. At the same time, Random Forest is not based on loss optimization and obtains a more complex and less interpretable model. In this paper we present a novel method for obtaining compact tree ensembles by growing a large pool of trees in parallel with many independent boosting threads and then selecting a small subset and updating their leaf weights by loss optimization. We allow for the trees in the initial pool to have different depths which further helps with generalization. Experiments on real datasets show that the obtained model has usually a smaller loss than boosting, which is also reflected in a lower misclassification error on the test set.

研究の動機と目的

• 損失最適化のダイナミクスに起因する従来のブースティングアルゴリズムにおける同一木の繰り返し選択の問題に対処すること。
• 初期の木プールにおける深さのばらつきを許容することで、モデルの一般化性能を向上させること。
• 木アンサンブルの解釈可能性と損失に基づく最適化によるパフォーマンス向上を統合すること。
• 標準的なブースティングおよびランダムフォレストと比較して、モデルの複雑さを低減しながら予測精度を維持または向上させること。

提案手法

• 複数の独立したブースティングスレッドを用いて、並列に多数の決定木を生成する。
• 初期のプール内の木に深さのばらつきを許容することで、一般化性能と多様性を向上させる。
• 全体のモデルに対する寄与度に基づいて、プール内から最も関連性の高い木の小さなサブセットを選択する。
• 損失関数を用いて選択された木の葉の重みを最適化し、予測性能を向上させる。
• ブースティングの損失最適化の利点と広範な初期木プールの多様性を組み合わせたハイブリッドアプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 多様な木の深さを持つ並列ブースティングフレームワークは、標準的なブースティングで見られる循環的挙動を軽減できるか？
• RQ2 大規模なプールから木のサブセットを選択し、その葉の重みを精錬することで、完全なブースティングよりも良好な一般化性能が得られるか？
• RQ3 得られたモデルは、ランダムフォレストよりも低いテスト誤差を達成しながら、より解釈可能であるか？
• RQ4 初期プールにおける木の深さのばらつきが、モデルのパフォーマンスおよび安定性にどのように影響するか？

主な発見

• 提案手法は、標準的なブースティングアルゴリズムと比較して、より低い訓練損失を達成する。
• テストセットにおける誤分類誤差が標準的なブースティングより低く、一般化性能の向上を示している。
• 初期プールにおける多様な木の深さの組み合わせが、より優れたモデルパフォーマンスとロバストネスに寄与している。
• 最終的なアンサンブルは、ランダムフォレストよりもコンパクトで解釈可能であり、予測精度を維持または向上させている。