[論文レビュー] Bayesian Hyperparameter Optimization for Ensemble Learning

Julien-Charles Lévesque, Christian Gagné+1 more|arXiv (Cornell University)|May 20, 2016

Advanced Multi-Objective Optimization Algorithms参考文献 7被引用数 35

ひとこと要約

本稿では、固定サイズのアンサンブル内で、既存モデルとの相互作用を考慮しながら、逐次的に個々の分類器を最適化することで、アンサンブル学習におけるベイジアンハイパーパramータ最適化を提案する。本手法は、SVM、多様な学習アルゴリズム、CIFAR-10におけるCNNを含む複数のデータセットとモデルファミリーにおいて、標準的なベイジアン最適化や事後的アンサンブル構築法よりも顕著に優れた汎化精度を達成し、計算コストの増加は最小限に抑えられる。

ABSTRACT

In this paper, we bridge the gap between hyperparameter optimization and ensemble learning by performing Bayesian optimization of an ensemble with regards to its hyperparameters. Our method consists in building a fixed-size ensemble, optimizing the configuration of one classifier of the ensemble at each iteration of the hyperparameter optimization algorithm, taking into consideration the interaction with the other models when evaluating potential performances. We also consider the case where the ensemble is to be reconstructed at the end of the hyperparameter optimization phase, through a greedy selection over the pool of models generated during the optimization. We study the performance of our proposed method on three different hyperparameter spaces, showing that our approach is better than both the best single model and a greedy ensemble construction over the models produced by a standard Bayesian optimization.

研究の動機と目的

• ハイパラメータ最適化とアンサンブル学習の間のギャップを埋めるために、ベイジアン最適化とアンサンブル構築を統合すること。
• 個々のモデルを独立して最適化するのではなく、アンサンブル構成を最適化することで一般化性能を向上させること。
• 知的なモデル選択と相互作用を考慮したチューニングを通じて、計算コストを最小限に抑えながらパフォーマンスを最大化すること。
• SVM、多様な学習アルゴリズム、深層ニューラルネットワークを含む多様なハイパラメータ空間において、本手法を評価すること。
• ベイジアン手法によるアンサンブル最適化が、単一モデル最適化や事後的アンサンブル生成を上回ることを示すこと。

提案手法

• 本手法は固定サイズのアンサンブルを維持し、既存モデルとの相互作用を条件とした性能観測を用いて、1つの分類器ずつベイジアン最適化を実行する。
• 各イテレーションでは、過去の評価結果に基づいて学習されたガウス過程事前分布上での獲得関数を最大化することで、新しい分類器のハイパラメータを選択する。
• アンサンブルはラウンドロビン戦略によって更新され、バランスの取れた探索と相互作用を考慮したチューニングが保証される。
• 性能はバリデーションセットにおける交差検証誤差を用いて評価され、デフォルトの目的関数としてゼロ-ワン損失が使用される。
• 事後的アンサンブルは、最適化中に生成されたモデルから、バリデーション精度に基づくグリーディ選択によって構築される。
• 本手法は事前に訓練されたモデルを再利用することで、トレーニングコストを削減し、戦略的なアンサンブル構成によって一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 アンサンブルメンバー間の相互作用をモデル化することで、ベイジアンハイパラメータ最適化をアンサンブル学習に効果的に拡張できるか？
• RQ2 逐次的で相互作用を考慮したチューニングにより、アンサンブル構成を最適化することで、単一モデルの標準的ベイジアン最適化を上回る一般化性能が得られるか？
• RQ3 本手法によるアンサンブル最適化は、古典的ベイジアン最適化によって生成されたモデルからの事後的アンサンブル構築法と比較してどのように異なるか？
• RQ4 本手法は、SVM、多様な学習アルゴリズム、深層ニューラルネットワークを含む多様なハイパラメータ空間においても、性能向上を維持するか？
• RQ5 BO-best や BO-post といったベースラインと比較して、性能向上が統計的に有意であるか？

主な発見

• 提案手法のアンサンブル最適化（EO）は、3つのベンチマークデータセットすべてにおいて、標準的ベイジアン最適化（BO）および事後的アンサンブル構築（BO-post）を有意に上回り、Wilcoxon符号順位検定のp値は0.05未満である。
• scikit-learnのハイパラメータ空間では、EOは平均一般化誤差0.03を達成し、BO（0.05）および BO-best（0.05）を有意に下回った。Friedman検定のp値は1.5×10⁻⁵であった。
• CIFAR-10データセットにおけるCNNでは、EO-postがBO-postよりも有意に低い一般化誤差を示した（p = 0.005）、深層学習の文脈でも有効性が確認された。
• letter（ltr）、musk-2（msk）、semeion（sem）などのデータセットでは、一般化誤差が著しく低下し、特に困難なケースにおいて顕著な向上が見られた。
• ラウンドロビン最適化戦略により、標準的ベイジアン最適化と比較して計算コストの増加は最小限に抑えられながら、性能向上が達成された。
• EOによって生成されたモデルから事後的アンサンブルを構築した場合、標準的BOからのものよりも一貫して優れた性能を示し、最適化中の相互作用を考慮したチューニングの価値が裏付けられた。