[論文レビュー] Benchmarking Automatic Machine Learning Frameworks

Adithya Balaji, Alexander G. Allen|arXiv (Cornell University)|Aug 17, 2018

Cloud Computing and Resource Management参考文献 2被引用数 60

ひとこと要約

この論文は、オープンソースの AutoML フレームワーク（auto-sklearn、TPOT、auto_ml、H2O AutoML）を OpenML データセット上で分類と回帰のパフォーマンスを比較することで性能パターンを比較検討します。

ABSTRACT

AutoML serves as the bridge between varying levels of expertise when designing machine learning systems and expedites the data science process. A wide range of techniques is taken to address this, however there does not exist an objective comparison of these techniques. We present a benchmark of current open source AutoML solutions using open source datasets. We test auto-sklearn, TPOT, auto_ml, and H2O's AutoML solution against a compiled set of regression and classification datasets sourced from OpenML and find that auto-sklearn performs the best across classification datasets and TPOT performs the best across regression datasets.

研究の動機と目的

• 多様なデータセットの下で、主要なオープンソース AutoML フレームワークの性能を評価する。
• OpenML データと標準化された指標を用いた、公正で再現性のあるベンチマーク手法を提供する。
• 時間制約下での AutoML 展開における強み、弱み、実用的な考慮点を特定する。

提案手法

• 57 の分類データセットと 30 の回帰データセットという固定セットをベンチマークする。
• 公正な比較を可能にするため、フレームワークの設定を標準化する（時間制限、シード、指標）。
• 分類には加重 F1 スコアを、回帰には比較可能性のために MSE の逆数を主要指標として用いる。
• 大規模な計算需要に対応するため、分散コンピューティング環境（AWS Batch およびベアメタル）を活用する。
• データセットの前処理要件とフレームワーク固有の制限を文書化する。
• ペアワイズなフレームワーク性能とデータセット依存の傾向を分析する。

実験結果

リサーチクエスチョン

• RQ1 OpenML データセット全体で分類タスクにおいて最も高い性能を達成する AutoML フレームワークはどれか？
• RQ2 回帰タスクではどのフレームワークが優位か？
• RQ3 データセットのサイズ・次元数・クラス分布などの特徴によってフレームワークの性能はどう変化するか？
• RQ4 分散環境で AutoML フレームワークをスケーリングする際に生じる実践的な制限や障害は何か？

主な発見

• Auto-sklearn は分類データセットで最も高い性能を発揮する。
• TPOT は回帰データセットで最も高い性能を発揮する。
• 全体の結果はデータセットとシード間で高いばらつきを示し、コードベースと機能セットの影響を強調している。
• 特定のメモリ制限や時間制約下で AutoML フレームワークが顕著な失敗を示すことがあり、慎重なリソース管理が必要である。
• データセットとシードは結果に大きく影響するため、頑健なベンチマーク設計が求められる。