[論文レビュー] Optimizing Ensemble Weights and Hyperparameters of Machine Learning Models for Regression Problems

Mohsen Shahhosseini, Guiping Hu+1 more|arXiv (Cornell University)|Aug 14, 2019

Machine Learning and Data Classification被引用数 9

ひとこと要約

本稿では、ベイジアンハイパーパramータ探索と多様なベースラーナーを生成するヒューリスティックを用いて、回帰モデルのハイパラメータとアンサンブル重みを共同で最適化するネストド最適化フレームワークGEM-ITHを提案する。この手法は、10個の公開データセットにおいて、モデル重みと内部ハイパラメータを同時に最適化することで予測性能を向上させ、標準的なスタッキング手法よりも優れた一般化性能を示している。

ABSTRACT

Aggregating multiple learners through an ensemble of models aim to make better predictions by capturing the underlying distribution of the data more accurately. Different ensembling methods, such as bagging, boosting, and stacking/blending, have been studied and adopted extensively in research and practice. While bagging and boosting focus more on reducing variance and bias, respectively, stacking approaches target both by finding the optimal way to combine base learners. In stacking with the weighted average, ensembles are created from weighted averages of multiple base learners. It is known that tuning hyperparameters of each base learner inside the ensemble weight optimization process can produce better performing ensembles. To this end, an optimization-based nested algorithm that considers tuning hyperparameters as well as finding the optimal weights to combine ensembles (Generalized Weighted Ensemble with Internally Tuned Hyperparameters (GEM-ITH)) is designed. Besides, Bayesian search was used to speed-up the optimizing process, and a heuristic was implemented to generate diverse and well-performing base learners. The algorithm is shown to be generalizable to real data sets through analyses with ten publicly available data sets.

研究の動機と目的

• 従来のアンサンブル手法が重みまたはハイパラメータを個別に最適化するため、性能が最適でないという限界を解消すること。
• 回帰タスクにおけるベースラーナーのアンサンブル重みとハイパラメータを同時に最適化する統合フレームワークの開発。
• ヒューリスティック的手法による多様で高精度なベースラーナーの生成を通じて、モデルの一般化性能と予測精度の向上。
• ネストドアルゴリズム構造内でのベイジアンハイパラメータチューニングを活用し、最適化プロセスの高速化。
• 多様な実世界の回帰データセットにおいて、手法の有効性を検証すること。

提案手法

• 提案手法GEM-ITHは、アンサンブル重み最適化プロセス中にベースラーナーのハイパラメータを最適化するネストド最適化ループを採用する。
• 計算コストを低減するために、ハイパラメータ空間を効率的に探索するためのベイジアン最適化が用いられる。
• 多様で良好な性能を示すベースラーナーを生成するためにヒューリスティックが適用され、アンサンブルの多様性とロバスト性が向上する。
• アンサンブルはベースモデルの重み付き平均として構築され、最適な重みはネストド最適化フレームワークにより決定される。
• ベースモデルの種類やデータ分布に関する仮定を一切設けない汎用性の高い設計がなされている。
• ハイパラメータチューニングと重み最適化を統合した一連のエンドツーエンドプロセスにより、予測性能を最大化する。

実験結果

リサーチクエスチョン

• RQ1 アンサンブル重みとハイパラメータの共同最適化は、逐次的または個別的な最適化よりも優れた回帰性能を達成できるか？
• RQ2 ベイジアンハイパラメータ探索の使用は、アンサンブルモデル学習の効率性と有効性にどのように影響するか？
• RQ3 多様なベースラーナーの生成は、アンサンブルの一般化性能とロバスト性をどの程度向上させるか？
• RQ4 GEM-ITHは、多様な回帰データセットにおいて、標準的なスタッキングや他のアンサンブル手法と比較してどのように差をつけるか？
• RQ5 提案されたフレームワークは、さまざまな種類の回帰問題やデータ分布に効果的に一般化可能か？

主な発見

• GEM-ITHは、標準スタッキングやベースラインアンサンブル手法と比較して、10個の公開回帰データセットにおいて優れた予測性能を達成した。
• 重みとハイパラメータの共同最適化により、平均二乗誤差（MSE）および決定係数（R-squared）の指標で顕著な改善が得られた。
• ベイジアンハイパラメータチューニングにより、ハイパラメータ探索の計算負荷が低減された一方で、高いモデル品質を維持した。
• 多様なベースラーナーを生成するためのヒューリスティックは、アンサンブルの多様性とロバスト性の向上に寄与し、一般化性能の向上に寄与した。
• 異なるデータタイプや回帰問題にわたり、良好な一般化性能を示し、一貫した性能向上が確認された。
• ネストド最適化フレームワークはバイアスとバリアンスを効果的にバランスさせ、より正確で安定した予測を実現した。