[論文レビュー] Automated Machine Learning with Monte-Carlo Tree Search

Herilalaina Rakotoarison, Marc Schoenauer+1 more|arXiv (Cornell University)|Jun 1, 2019

Machine Learning and Data Classification参考文献 19被引用数 5

ひとこと要約

本論文は、構造的パイプライン最適化にモンテカルロ木探索（MCTS）を、ハイパーパramータチューニングにベイズ最適化を組み合わせ、共有のスラグレートモデルを用いる新しいAutoMLフレームワークMosaicを提案する。MosaicはOpenML-100ベンチマークにおいてAuto-Sklearnを上回る統計的に有意な性能向上を達成し、特にバニラ版およびアンサンブル版で顕著な改善を示しており、評価コストの高いブラックボックスAutoML環境における探索および最適化の効率性が優れていることを示している。

ABSTRACT

The AutoML task consists of selecting the proper algorithm in a machine learning portfolio, and its hyperparameter values, in order to deliver the best performance on the dataset at hand. Mosaic, a Monte-Carlo tree search (MCTS) based approach, is presented to handle the AutoML hybrid structural and parametric expensive black-box optimization problem. Extensive empirical studies are conducted to independently assess and compare: i) the optimization processes based on Bayesian optimization or MCTS; ii) its warm-start initialization; iii) the ensembling of the solutions gathered along the search. Mosaic is assessed on the OpenML 100 benchmark and the Scikit-learn portfolio, with statistically significant gains over Auto-Sklearn, winner of former international AutoML challenges.

研究の動機と目的

• 評価コストが高価なブラックボックス最適化問題としての自動機械学習（AutoML）の課題に対処すること。
• パイプラインアーキテクチャ探索にMCTSを、ハイパーパramータチューニングにベイズ最適化を組み合わせることで、既存のAutoMLシステムを改善すること。
• Mosaicの統合最適化戦略が、Auto-Sklearn や Tpot などの最先端ベースラインと比較して効果的であるかを評価すること。
• ウォームスタート初期化、アンサンブル戦略、スラグレートモデルの使用がAutoML性能に与える影響を調査すること。
• Mosaicのハイパーパramータのロバストネスと感度が多様なデータセットにわたってどのように影響を受けるかを評価すること。

提案手法

• Mosaicは、機械学習パイプラインの構造的空間を探索するためにモンテカルロ木探索（MCTS）を用い、パイプライン構成を逐次的決定プロセスとして扱う。
• 各MCTSノードにおいて、そのノード以下のすべてのパイプライン完成形の期待性能をスラグレートモデルが推定し、木の拡張をガイドする。
• ロールアウトの段階では、ベイズ最適化が与えられたパイプライン構成に対して最適なハイパーパramータを選択し、同じスラグレートモデルを活用する。
• スラグレートモデルは新しい評価結果とともに継続的に更新され、探索（MCTS）と局所探索（ベイズ最適化）の両方をガイドする。
• Mosaicは複数のバリエーションをサポートする：バニラ（純粋なMCTS）、メタラーニング（事前計算済みアーカイブからのウォームスタート）、アンサンブル（探索で得られた複数の解決策を統合）。
• 性能はスクラッチパッケージを用いたOpenML-100ベンチマークで評価され、平均順位と統計的有意性検定を指標とする。

実験結果

リサーチクエスチョン

• RQ1 共有のスラグレートモデルを介してMCTSとベイズ最適化を統合することで、単独で使用する場合よりも優れたAutoML性能が得られるか？
• RQ2 Mosaicの探索戦略は、OpenML-100ベンチマークにおいてAuto-Sklearnの探索戦略と比較して、効率性と性能向上の点で優れているか？
• RQ3 メタラーニングによるウォームスタート初期化は、特に大規模データセットにおいてMosaicの性能をどの程度向上させるか？
• RQ4 Mosaicの性能は、探索係数$C_{ucb}$ やロールアウト数$n_s$ といったハイパーパramータの変化に対してどの程度感度を示すか？
• RQ5 探索中に発見された複数の構成を統合するアンサンブル戦略は、一般化性能とロバストネスをさらに向上させることができるか？

主な発見

• Mosaicのバニラ版およびアンサンブル版は、OpenML-100ベンチマークにおいてAuto-Sklearnを上回る統計的に有意な性能向上を達成しており、すべてのデータセットで平均順位が低く抑えられている。
• メタラーニング版は、初期化に多くの最適化リソースを費やすため、特に1時間の時間制限が設けられた大規模データセットでは、Auto-Sklearnと比較して恩恵が限定的である。
• Mosaicは、Auto-Sklearnが初期構成に近い状態にとどまるのとは対照的に、より包括的な探索戦略を示しており、高性能なパイプラインの発見に成功している。
• 感度分析の結果、Mosaicの性能は$C_{ucb}$ や $n_s$ の変化に対してロバストであることが判明し、30の設定のうち24でAuto-Sklearnを上回った。
• スラグレートモデルはMCTSとベイズ最適化の間で効果的に共有されており、別々のモデル学習を必要とせず、探索と活用の連携を可能にしている。
• Mosaicは平均順位の観点で一貫してAuto-Sklearnを上回っており、特に探索プロセスの初期から中盤にかけての段階で顕著な改善が見られた。