[論文レビュー] AlphaD3M: Machine Learning Pipeline Synthesis

Iddo Drori, Yamuna Krishnamurthy+6 more|Open Repository and Bibliography (University of Luxembourg)|Nov 3, 2021

Machine Learning and Data Classification参考文献 16被引用数 21

ひとこと要約

AlphaD3M は、自己対戦とモンテカルロ木探索（MCTS）を用いたメタ強化学習を採用する AutoML システムであり、プリミティブに対する編集操作を通じて機械学習パイプラインを合成する。OpenML データセットにおいて競争力ある性能を達成するとともに、計算時間を10倍短縮（数時間から数分）し、設計上説明可能性を確保する。

ABSTRACT

We introduce AlphaD3M, an automatic machine learning (AutoML) system based on meta reinforcement learning using sequence models with self play. AlphaD3M is based on edit operations performed over machine learning pipeline primitives providing explainability. We compare AlphaD3M with state-of-the-art AutoML systems: Autosklearn, Autostacker, and TPOT, on OpenML datasets. AlphaD3M achieves competitive performance while being an order of magnitude faster, reducing computation time from hours to minutes, and is explainable by design.

研究の動機と目的

• 多様なデータセットおよびタスクに対応できるエンドツーエンドの機械学習パイプラインを合成できる、効率的で説明可能な AutoML システムの開発。
• 自動機械学習におけるパイプラインとハイパーパramータの組み合わせがもたらす高次元の探索空間の問題への対処。
• 自己対戦を用いたメタ強化学習を活用し、経験とポリシーの最適化を繰り返し行い、パイプライン合成を段階的に改善する。
• パイプライン構築を一連の編集操作としてモデル化することで、すべての意思決定を追跡可能にする、説明可能性の設計原則の実装。
• TPOT や Autosklearn、Autostacker といった既存の AutoML システムと比較して、計算時間を著しく短縮すること。

提案手法

• パイプライン合成問題を、メタデータ、タスク、現在のパイプライン構成を含む状態を持つ単一プレーヤーゲームとして定式化する。
• 深層ニューラルネットワークを用いて行動確率とパイプライン性能の推定値を予測し、MCTS の探索をガイドする。
• 挿入、削除、置換といった編集操作をパイプラインプリミティブに適用して、新たなパイプライン状態を生成し、説明可能性を確保する。
• 自己対戦を用いたモンテカルロ木探索（MCTS）を採用し、ニューラルネットワークの予測を用いて高次元の探索空間を効率的に探索する。
• 生成されたパイプラインの実世界評価を用いて損失関数を更新し、ニューラルネットワークの予測と MCTS のロールアウトを組み合わせてポリシーを最適化する。
• 反復的自己改善を実現するエキスパートイテレーションを実装し、エージェントが自身が生成した経験から学習することで、時間の経過とともに性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自己対戦と MCTS を用いたメタ強化学習アプローチは、機械学習パイプラインの高次元探索空間を効果的に探索できるか？
• RQ2 AlphaD3M の性能は、TPOT や Autosklearn、Autostacker といった最先端の AutoML システムと比較して、正確性と速度の面でどの程度優れているか？
• RQ3 パイプライン構築における編集操作の使用が、最終モデルの説明可能性をどの程度向上させるか？
• RQ4 既存の手法と比較して、計算時間を10倍短縮しつつも、競争力ある性能を達成できるか？
• RQ5 このアプローチは、OpenML ベンチマークにおける多様な表形式データセットおよびタスク（分類、回帰）に一般化可能か？

主な発見

• AlphaD3M は OpenML の 180 個の分類データセットのうち 75% でベースラインの SGD パイプラインを上回り、18% で同等の性能を示し、わずか 7% のデータセットでのみ劣る性能を示した。
• 図 3 に示すように、AlphaD3M は多様な推定器において競争力ある性能を発揮している。
• 平均して、AlphaD3M は計算時間を10倍短縮し、数分で結果を得られるようになった。これは、TPOT に対して 7.3 倍から 32.2 倍、Autostacker に対して 4 倍から 15.1 倍の高速化を達成したことを示している。
• クロスバリデーションの結果において、AlphaD3M の性能は TPOT、Autosklearn、Autostacker と同等であり、信頼区間が重複している。
• 編集操作の使用により、システムは完全な説明可能性を確保しており、すべてのパイプライン構築ステップが明示的な操作から導かれており、追跡可能である。
• ニューラルネットワークのポリシー学習と MCTS の統合により、複雑なパイプライン空間の効率的探索が可能となり、収束が速く、サンプル効率が向上した。