[論文レビュー] Automatic Machine Learning by Pipeline Synthesis using Model-Based Reinforcement Learning and a Grammar

Iddo Drori, Yamuna Krishnamurthy+5 more|Open Repository and Bibliography (University of Luxembourg)|May 24, 2019

Machine Learning and Data Classification参考文献 21被引用数 18

ひとこと要約

本稿では、パイプライン文法と事前学習済みニューラルネットワークを用いて、より高速で効率的な探索が可能な強化学習ベースのAutoMLシステムを提案する。モデルベース強化学習と文法制約、およびトランスファーラーニングを組み合わせることで、AutoSklearnなどの既存のAutoMLツールと比較して最大10倍速い性能を達成した。

ABSTRACT

Automatic machine learning is an important problem in the forefront of machine learning. The strongest AutoML systems are based on neural networks, evolutionary algorithms, and Bayesian optimization. Recently AlphaD3M reached state-of-the-art results with an order of magnitude speedup using reinforcement learning with self-play. In this work we extend AlphaD3M by using a pipeline grammar and a pre-trained model which generalizes from many different datasets and similar tasks. Our results demonstrate improved performance compared with our earlier work and existing methods on AutoML benchmark datasets for classification and regression tasks. In the spirit of reproducible research we make our data, models, and code publicly available.

研究の動機と目的

• AutoMLにおける機械学習パイプライン合成の高次元的かつ組み合わせ的探索空間に対処すること。
• 異なるデータセットに一般化可能な事前学習モデルを活用することで、パイプライン探索におけるサンプル効率と収束速度を向上させること。
• 形式的パイプライン文法を用いて有効なパイプライン操作に制限を加えることで、探索の複雑さを低減し、スケーラビリティを向上させること。
• モンテカルロ木探索（MCTS）とニューラルネットワークのポリシーおよび価値予測を組み合わせることで、AutoMLにおける迅速な初期段階の性能向上を実現すること。
• データ、モデル、コードを公開することで、再現可能性のある研究を支援すること。

提案手法

• システムは、各状態が有効なパイプラインである単一プレーヤーゲームとしてパイプライン合成を定式化し、アクションはプリミティブの挿入、削除、置換であり、報酬はパイプラインの性能に基づく。
• 探索空間を制限するためのパイプライン文法を定義し、分岐要因の低減と平均MCTS深さの低下を実現することで、構文的に有効なパイプライン操作に限定する。
• シーケンスモデル（ニューラルネットワーク）を訓練し、アクションの確率とパイプライン性能の推定値を予測することで、モンテカルロ木探索（MCTS）の意思決定をガイドする。
• 自己対戦と段階的改善を用いたモデルベース強化学習を採用し、ニューラルネットワークはMCTSのロールアウト結果と実際のパイプライン評価に基づいて更新される。
• 多様なデータセットで事前学習したモデルを微調整することで、新しいタスクへの迅速な適応が可能となり、初期学習からの再訓練の必要性が低減される。
• メタ特徴量、現在のパイプライン、タスクタイプをニューラルネットワークの入力として統合することで、異なるデータセットやタスクに一般化可能な性能を実現する。

実験結果

リサーチクエスチョン

• RQ1 パイプライン文法を用いることで、AutoMLパイプライン合成における探索効率と性能にどのような影響を与えるか？
• RQ2 初期段階の性能と収束速度において、事前学習済みニューラルネットワークは、初期から学習を開始する場合と比較してどの程度向上をもたらすか？
• RQ3 MCTSとニューラルネットワークポリシーの組み合わせは、MCTS単体と比較して、サンプル効率と時間経過に伴う性能向上の面でどのように異なるか？
• RQ4 提案手法は、最先端のAutoMLベースラインと比較して、著しく短時間で競争力のある性能を達成できるか？
• RQ5 事前学習モデルによるトランスファーラーニングを用いる場合、多様なデータセットとタスクにわたって、システムの一般化性能はどのように向上するか？

主な発見

• パイプライン文法の使用により、平均MCTS分岐要因が3倍低減され、平均探索深さが1桁低下し、探索効率が顕著に向上した。
• 74のOpenMLデータセットすべてにおいて、文法を用いることで探索空間の大幅な削減にもかかわらず、解の質の低下が認められなかった。
• 事前学習モデルは、メタ特徴量の計算を含め4秒以内に高品質な解に到達でき、初期から学習を開始するのと比べて2倍速かった。
• 事前学習モデルは初期から学習を開始する場合と同等またはそれ以上の性能を達成し、初期の数秒間ではAutoSklearnを上回った。
• 特に計算の最初の数分間において、AutoSklearnと比較して1桁の高速化を達成しながら、競争力のある性能を実現した。
• アブレーションスタディの結果、MCTSにニューラルネットワークを組み合わせることで、MCTS単体と比較して同じ性能に到達するまでのステップ数が著しく減少した。これは、ポリシーおよび価値ネットワークが探索を効果的にガイドしていることを示している。