[論文レビュー] DivBO: Diversity-aware CASH for Ensemble Learning

Yu Shen, Yu‐peng Lu+4 more|arXiv (Cornell University)|Feb 7, 2023

Machine Learning and Data Classification被引用数 4

ひとこと要約

DivBO は、CASH（組み合わせ的アルゴリズム選択とハイパーパramータ最適化）のためのベイジアン最適化フレームワークであり、探索プロセスに明示的にモデルの多様性を組み込む。多様性サロゲートと重み付きアセスメント関数を導入することで、アンサンブル性能が向上し、15のデータセット全体で10のベースライン（最近のAutoMLシステムに含まれる事後的アンサンブル手法を含む）と比較して、検証時平均順位1.82、テスト時平均順位1.73という最高の成績を達成した。

ABSTRACT

The Combined Algorithm Selection and Hyperparameters optimization (CASH) problem is one of the fundamental problems in Automated Machine Learning (AutoML). Motivated by the success of ensemble learning, recent AutoML systems build post-hoc ensembles to output the final predictions instead of using the best single learner. However, while most CASH methods focus on searching for a single learner with the best performance, they neglect the diversity among base learners (i.e., they may suggest similar configurations to previously evaluated ones), which is also a crucial consideration when building an ensemble. To tackle this issue and further enhance the ensemble performance, we propose DivBO, a diversity-aware framework to inject explicit search of diversity into the CASH problems. In the framework, we propose to use a diversity surrogate to predict the pair-wise diversity of two unseen configurations. Furthermore, we introduce a temporary pool and a weighted acquisition function to guide the search of both performance and diversity based on Bayesian optimization. Empirical results on 15 public datasets show that DivBO achieves the best average ranks (1.82 and 1.73) on both validation and test errors among 10 compared methods, including post-hoc designs in recent AutoML systems and state-of-the-art baselines for ensemble learning on CASH problems.

研究の動機と目的

• AutoML システムがしばしば非常に類似した設定を提案するため、CASH フレームワークにおける事後的アンサンブル学習における多様性の欠如に対処する。
• ハイパーパramータ探索中に予測性能と多様性の両方を明示的にバランスさせることで、アンサンブル性能を向上させる。
• アンサンブル内のベースラーナーが正確かつ多様であることを保証する手法を開発し、予測の重複を回避する。
• 未観測の設定間のペアワイズ多様性を予測するサロゲートモデルを導入し、意思決定に裏付けられた探索を可能にする。
• 多様性に配慮した探索が、個々のモデル性能を劣化させることなく、より効果的なアンサンブルをもたらすことを実証する。

提案手法

• 正則化されたユークリッド距離による確率的予測の差分を用いて、未観測の機械学習設定間のペアワイズ多様性を予測する多様性サロゲートモデルを提案する。
• 性能と多様性の両方の目的をバランスさせる重み付きアセスメント関数を用いて、多様性サロゲートをベイジアン最適化フレームワークに統合する。
• 最適化中に一時的なベースラーナーのプールを維持し、アンサンブルの進化を追跡し、多様で高性能な設定への探索を導く。
• アセスメント関数における性能と多様性サロゲートの影響を動的にバランスさせるため、飽和型の重み機構を用いる。
• 観測済みの設定とそのペアワイズ多様性を用いて、多様性サロゲートを段階的に学習させ、時間経過とともに予測精度を向上させる。
• 検証誤差を最小化し、選択されたモデル間の多様性を最大化することを目的とする CASH の文脈でフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 CASH における明示的な多様性探索は、性能のみを重視する標準的な AutoML 手法と比較して、事後的アンサンブルの性能を向上させることができるか？
• RQ2 学習済みの多様性サロゲートは、性能サロゲートと比較して、モデル設定間の実際のペアワイズ多様性をどれほど正確に予測できるか？
• RQ3 ベイジアン最適化のアセスメント関数に多様性を組み込むことで、性能を犠牲にせずに、より多様で効果的なアンサンブルが得られるか？
• RQ4 時間経過に伴い、提案された設定の多様性はどのように変化するか？ また、それはアンサンブルの一般化性能の向上と相関するか？
• RQ5 多様性サロゲートは、ベースライン手法と比較して、冗長な設定を効果的に回避し、アンサンブルの多様性をより効果的に向上させることができるか？

主な発見

• DivBO は、15の公開データセット全体で検証誤差平均順位1.82、テスト誤差平均順位1.73を達成し、最近のAutoMLシステムや最先端のアンサンブルベースラインを含む10の比較手法を上回った。
• 多様性サロゲートは、性能サロゲートよりも真の多様性との相関が強く、探索を導く信頼性の高さを示した。
• Quake データセットにおいて200イテレーション後に、DivBO は提案された設定の最小多様性が 0.23 に達し、BO-ES や RB-ES（両者とも約 0.05）と比較して著しく高い多様性を示し、重複の低減を確認した。
• DivBO の有効なプール更新頻度は、最終段階で平均して50イテレーションあたり1.5回であったのに対し、BO-ES（0.6回）や RB-ES（0.8回）を上回り、より頻繁かつ意味のあるアンサンブル改善が行われた。
• DivBO が得た最終アンサンブルでは、平均ペアワイズ予測不一致度が 0.27 に達し、RB-ES（0.13） や BO-ES（0.09） より顕著に高い多様性を示した。
• 多様性の強調にもかかわらず、DivBO は競争力のあるベースラーナー性能を維持しており、平均検証誤差は 44.33% ± 2.67% であり、BO-ES（44.03%） や RB-ES（43.85%） と同等の水準を示し、個々のモデル品質の低下がないことを裏付けた。