[論文レビュー] Sequential Model-Based Ensemble Optimization

Alexandre Lacoste, Hugo Larochelle+2 more|arXiv (Cornell University)|Feb 4, 2014

Machine Learning and Data Classification参考文献 9被引用数 20

ひとこと要約

本稿では、アグノスティックベイジアン学習を活用して、高精度なモデルアンサンブルを自動的に構築する、SMBOの拡張である逐次モデルベースアンサンブル最適化（ESMBO）を提案する。SMBOを無限大のハイパーパrameter設定空間上で最適化し、ベイジアンアンサンブル平均を用いて重みを割り当てることで、22個の回帰および39個の分類データセットにおいて、標準的なSMBOを常に上回る性能を発揮する。

ABSTRACT

One of the most tedious tasks in the application of machine learning is model selection, i.e. hyperparameter selection. Fortunately, recent progress has been made in the automation of this process, through the use of sequential model-based optimization (SMBO) methods. This can be used to optimize a cross-validation performance of a learning algorithm over the value of its hyperparameters. However, it is well known that ensembles of learned models almost consistently outperform a single model, even if properly selected. In this paper, we thus propose an extension of SMBO methods that automatically constructs such ensembles. This method builds on a recently proposed ensemble construction paradigm known as agnostic Bayesian learning. In experiments on 22 regression and 39 classification data sets, we confirm the success of this proposed approach, which is able to outperform model selection with SMBO.

研究の動機と目的

• ハイパーパrameterチューニングと同程度に手間がかかるが、スケーラブルな自動化が不足している、自動モデルアンサンブル構築の課題に取り組む。
• モデルの組み合わせに対して手動選択やグリッドサーチに依存する既存のアンサンブル手法の限界を克服する。
• 逐次モデルベース最適化（SMBO）を、単一モデルではなくアンサンブルの最適化に拡張し、一般化性能を向上させる。
• 真のリスクに関する事前知識を必要としない状況でも最適なアンサンブル重み付けを可能にするために、アグノスティックベイジアン学習をSMBOに統合する。
• SMBOの効率性を維持しつつ、アンサンブル平均化によってより優れた一般化性能を達成する手法を開発する。

提案手法

• 標準の逐次更新とは異なり、複数のハイパーパrameter設定を同時に最適化するようにSMBOを拡張し、多様なモデルファミリーを探索する。
• アグノスティックベイジアンフレームワークを用いて、実証的性能に基づき最適な重みをモデルに割り当て、仮説空間内に真のモデルが存在するという仮定を必要とせずに期待リスクを最小化する。
• 効率的で安定したアンサンブル構築を可能にするために、アグノスティック・ベイズ重みのブートストラップ推定を実装する。
• ハイパーパrameter空間上に補間モデル（例：ガウス過程）を維持して探索をガイドするが、個々のモデル性能ではなくアンサンブル性能を予測するように拡張する。
• SMBOの最適化ステップとアンサンブル評価を交互に実行することで、どのハイパーパrameter設定の組み合わせがより頑健なアンサンブル予測をもたらすかを学習する。
• 再訓練を避け、訓練済みモデルを再利用することで計算効率を確保し、推論時における追加コストを一切発生させない。

実験結果

リサーチクエスチョン

• RQ1 SMBOを、個々のモデル性能ではなくアンサンブル性能の最適化に拡張することは可能か？
• RQ2 アグノスティックベイジアン重み付けを用いて複数のハイパーパrameter設定を組み合わせることで、最良の単一モデルを上回る一般化性能が達成できるか？
• RQ3 提案手法のアンサンブル最適化SMBOの収束速度および性能は、標準SMBOおよびランダムサーチと比べてどうか？
• RQ4 どのハイパーパrameter空間において、アンサンブル最適化が単一モデル選択に比べて最も顕著な向上をもたらすか？
• RQ5 より広いモデル組み合わせの空間を探索しながらも、収束速度を維持または向上させることができるか？

主な発見

• ESMBOは22個の回帰および39個の分類データセットにおいて、標準SMBOを顕著に上回り、ペairワイズ比較で最も高い勝率を記録した。
• MLPやサポートベクタ回帰といった複雑なモデルを含む12のハイパーパrameter空間のうち10つで、ESMBOはSMBOに対して統計的に有意な性能向上を達成した。
• ESMBOの期待順位は、SMBOおよびRSと比較して常に低く、MLPでは平均期待順位1.92、ランダムフォレストでは2.25を記録した。
• 時間的分析の結果、ESMBOは最初の数イテレーションからSMBOを上回ることが多く、収束速度に劣化はなく、場合によっては早期収束が早いことも示された。
• MLPやサポートベクタ回帰といった最も挑戦的なハイパーパラメータ空間では、ESMBOはSMBOに対する勝率がそれぞれ76%および75%に達した。
• 本手法は、多様なアルゴリズムとデータセットに対して高いロバスト性を示し、推論時における顕著な計算オーバーヘッドがなかった。