[論文レビュー] MetaBags: Bagged Meta-Decision Trees for Regression

Jihed Khiari, Luís Moreira-Matias+3 more|arXiv (Cornell University)|Apr 17, 2018

Machine Learning and Data Classification参考文献 24被引用数 5

ひとこと要約

MetaBagsは、カスタムメタ特徴量に基づいて各入力に対して最適なベースモデルを動的に選択するための、バッグドメタ意思決定ツリーを用いた回帰のための新規スタッキングフレームワークを提案する。特徴空間のサブリージョンにおける予測の多様性を活用し、バイアスを低減することで、従来の手法よりも平均RMSEで12.73%の向上を達成し、最先端の性能を実現した。

ABSTRACT

Ensembles are popular methods for solving practical supervised learning problems. They reduce the risk of having underperforming models in production-grade software. Although critical, methods for learning heterogeneous regression ensembles have not been proposed at large scale, whereas in classical ML literature, stacking, cascading and voting are mostly restricted to classification problems. Regression poses distinct learning challenges that may result in poor performance, even when using well established homogeneous ensemble schemas such as bagging or boosting. In this paper, we introduce MetaBags, a novel, practically useful stacking framework for regression. MetaBags is a meta-learning algorithm that learns a set of meta-decision trees designed to select one base model (i.e. expert) for each query, and focuses on inductive bias reduction. A set of meta-decision trees are learned using different types of meta-features, specially created for this purpose - to then be bagged at meta-level. This procedure is designed to learn a model with a fair bias-variance trade-off, and its improvement over base model performance is correlated with the prediction diversity of different experts on specific input space subregions. The proposed method and meta-features are designed in such a way that they enable good predictive performance even in subregions of space which are not adequately represented in the available training data. An exhaustive empirical testing of the method was performed, evaluating both generalization error and scalability of the approach on synthetic, open and real-world application datasets. The obtained results show that our method significantly outperforms existing state-of-the-art approaches.

研究の動機と目的

• 大規模な異種回帰アンサンブルを学習するためのスケーラブルで効果的な手法の不足に対処する。
• 従来のスタッキングにおける制限を克服する。特に、パラメトリックなメタラーナーがモデル性能の複雑で非線形な関係を捉えきれない問題を解消する。
• トレーニングデータのブートストラップサンプル上にメタ意思決定ツリーを学習することで、モデル統合における帰納的バイアスを低減する。
• 低データ量または分布外サブリージョンにおける汎化性能を向上させるために、特化した局所ランドマークメタ特徴量を導入する。
• 既存の最先端アンサンブル手法を上回る実用的でスケーラブルなスタッキングフレームワークを構築する。

提案手法

• 多様なベース回帰モデル（例：ランダムフォレスト、勾配ブースティング、SVM）をエキスパートとしてトレーニングする。
• 各トレーニングインスタンスに対して、局所的なデータ分布およびモデル行動特性を捉える新規の局所ランドマークメタ特徴量を計算する。
• バッグィングを用いてメタ意思決定ツリーの集合を学習する：各ツリーはトレーニングデータのブートストラップサンプル上で訓練され、メタ特徴量を入力とし、ベースモデルの予測をターゲットとする。
• テスト時、各メタ意思決定ツリーが学習済みのルールを用いて入力を評価し、最も適切なベースモデルを選択する。
• 選択されたベースモデルの予測を単純平均することで最終出力を得る。
• パラメトリックでないメタラーニングアプローチを用いることで、アンサンブル結合の関数形に関する仮定を避ける。

実験結果

リサーチクエスチョン

• RQ1 バッグドメタ意思決定ツリーに基づくメタラーニングフレームワークは、既存のスタッキングおよびアンサンブル手法と比較して、回帰性能を顕著に向上させることができるか？
• RQ2 新規の局所ランドマークメタ特徴量は、訓練データがスパarsなサブリージョンにおいて、モデル選択の正確性と汎化性能をどの程度向上させるか？
• RQ3 メタBagsは、ラージな学習（例：kNN）および線形スタッキングと比較して、スケーラビリティおよび計算効率においてどのように性能を発揮するか？
• RQ4 メタツリーのバッグィングは、多様な回帰データセットにおけるモデル統合の分散を低減し、よりロバストにするか？
• RQ5 メタツリーによる動的エキスパート選択は、入力空間の異なる領域における予測の多様性を効果的に活用できるか？

主な発見

• MetaBagsは最先端のスタッキング手法を顕著に上回り、17のデータセットにおいて平均RMSEで12.73%の相対的改善を達成した。
• 新規の局所ランドマークメタ特徴量の導入により、さらに平均2.67%の改善が得られ、局所的なデータ特性を捉える役割が明確に示された。
• 外れ値密度の高いデータセットでは平均14.65%の改善を達成し、挑戦的でカバー範囲が狭い領域でもロバストであることが示された。
• トレーニング時間は線形スタッキングやkNNベースの動的選択と同等のスケーラビリティを維持しており、テスト時の推論は複数のツリー評価のため若干遅延が生じるが、全体として実用的である。
• MetaBagsは、いかなるベースラインよりも統計的に有意に悪い性能を示したことはなく、多様なデータセットにおいて一貫した汎化性能を示した。
• アブレーションスタディの結果、メタレベルでのバッグィングと特化したメタ特徴量の両方が、性能向上に不可欠であることが確認された。