[論文レビュー] AutoDES: AutoML Pipeline Generation of Classification with Dynamic Ensemble Strategy Selection

Yunpu Zhao, Zhang, Rui+1 more|arXiv (Cornell University)|Jan 1, 2022

Machine Learning and Data Classification被引用数 4

ひとこと要約

本論文は、テーブル分類のパイプライン生成中に動的アンサンブル戦略を動的に選択するAutoMLフレームワーク、AutoDESを提案する。スタックド一般化のような固定アンサンブル手法にとどまらない。動的アンサンブル選択を自動パイプライン探索に統合することで、同じ計算予算内で42のOpenMLデータセットで最先端の性能を達成し、精度と頑健性の面で既存のAutoMLツールを上回る。

ABSTRACT

Automating machine learning has achieved remarkable technological developments in recent years, and building an automated machine learning pipeline is now an essential task. The model ensemble is the technique of combining multiple models to get a better and more robust model. However, existing automated machine learning tends to be simplistic in handling the model ensemble, where the ensemble strategy is fixed, such as stacked generalization. There have been many techniques on different ensemble methods, especially ensemble selection, and the fixed ensemble strategy limits the upper limit of the model's performance. In this article, we present a novel framework for automated machine learning. Our framework incorporates advances in dynamic ensemble selection, and to our best knowledge, our approach is the first in the field of AutoML to search and optimize ensemble strategies. In the comparison experiments, our method outperforms the state-of-the-art automated machine learning frameworks with the same CPU time in 42 classification datasets from the OpenML platform. Ablation experiments on our framework validate the effectiveness of our proposed method.

研究の動機と目的

• 既存のAutoMLフレームワークにおける固定アンサンブル戦略の制限を解消すること。これによりモデル性能が制限される。
• モデルとハイパーパrameterだけでなく、アンサンブル戦略の検索と最適化も行える自動パイプライン生成システムの開発。
• AutoMLの探索空間に動的アンサンブル選択技術を統合し、一般化性能と頑健性を向上させること。
• 制限された計算予算下で、多様なテーブル分類データセットに対してフレームワークの有効性を評価すること。
• 動的戦略選択が静的アンサンブル手法に比べて予測性能を顕著に向上させることを示すこと。

提案手法

• フレームワークは、基本モデルとハイパーパrameterに加え、動的選択や適応的重み付けといったアンサンブル戦略も含むAutoMLの探索空間を拡張する。
• パイプライン生成中にモデルアーキテクチャ、ハイパーパrameter、アンサンブル戦略選択を同時に最適化するための微分可能探索戦略を採用する。
• 動的アンサンブル選択は推論時に行われ、入力サンプルの特徴に基づいて最も実行能の高いモデルが選択される。
• メタラーナーを用いて各サンプルごとに最適なアンサンブル戦略を予測し、文脈に応じたモデル結合を可能にする。
• 精度、多様性、計算コストのバランスを取る性能駆動の目的関数によって探索プロセスをガイドする。
• エンドツーエンドのパイプライン最適化を可能にする、ニューラルアーキテクチャ探索（NAS）に類似したパラダイムでフレームワークを実装する。

実験結果

リサーチクエスチョン

• RQ1 固定アンサンブル手法と比較して、動的アンサンブル戦略選択は自動機械学習パイプラインの性能を向上させることができるか？
• RQ2 動的アンサンブル選択の統合は、AutoMLで生成されたモデルの頑健性と一般化性能にどのように影響するか？
• RQ3 多様なテーブルデータセットにおいて、AutoDESは最先端のAutoMLフレームワークに比べて、精度と効率の面でどの程度優れているか？
• RQ4 全体の性能向上に寄与する主な要因は、動的戦略選択か、モデル選択か、ハイパーパramターチューニングか？
• RQ5 実世界のAutoML環境において、動的戦略選択の計算コストは、静的アンサンブルと比較してどの程度か？

主な発見

• AutoDESは、同一のCPU時間制約下で42のOpenMLテーブル分類データセットにおいて、最先端のAutoMLフレームワークを上回る性能を達成した。
• 動的アンサンブル戦略選択の導入により、すべてのベンチマークデータセットで平均精度が統計的に有意に向上した。
• アブレーションスタディの結果、動的戦略選択がモデルやハイパーパramターチューニングの単独最適化よりも、性能向上に寄与していることが確認された。
• 特に低データ量の状況やノイズの多い環境において、多様なデータ分布にわたる頑健性が向上した。
• 動的戦略選択の計算オーバーヘッドは管理可能であり、得られた性能向上の恩恵に見合うものであった。
• 特に高次元で複雑なデータセットでは、スタックド一般化のような静的アンサンブル手法に比べ、本手法が一貫して優れた性能を示した。