[論文レビュー] Identifying and Harnessing the Building Blocks of Machine Learning Pipelines for Sensible Initialization of a Data Science Automation Tool

Randal S. Olson, Jason H. Moore|arXiv (Cornell University)|Jul 29, 2016

Evolutionary Algorithms and Applications被引用数 5

ひとこと要約

本稿では、160件の教師あり分類パイプラインのデータベースから抽出した100の頻出する機械学習パイプライン構成要素（短い前処理およびモデリング手順のシーケンス）を特定・活用することで、遺伝的プログラミングに基づく自動機械学習（AutoML）システムTPOTの妥当な初期化手法を提案する。この手法は、1つのベンチマークでTPOTの性能を顕著に向上させつつ、他のベンチマークでは性能を劣化させない。これにより、熟練者によるパイプラインパターンの統合がAutoMLの効率性と有効性を高められることを示している。

ABSTRACT

As data science continues to grow in popularity, there will be an increasing need to make data science tools more scalable, flexible, and accessible. In particular, automated machine learning (AutoML) systems seek to automate the process of designing and optimizing machine learning pipelines. In this chapter, we present a genetic programming-based AutoML system called TPOT that optimizes a series of feature preprocessors and machine learning models with the goal of maximizing classification accuracy on a supervised classification problem. Further, we analyze a large database of pipelines that were previously used to solve various supervised classification problems and identify 100 short series of machine learning operations that appear the most frequently, which we call the building blocks of machine learning pipelines. We harness these building blocks to initialize TPOT with promising solutions, and find that this sensible initialization method significantly improves TPOT's performance on one benchmark at no cost of significantly degrading performance on the others. Thus, sensible initialization with machine learning pipeline building blocks shows promise for GP-based AutoML systems, and should be further refined in future work.

研究の動機と目的

• 遺伝的プログラミングに基づくAutoMLシステムにおける収束の遅さという課題を、初期化段階に熟練者の知識を統合することで解決すること。
• 大規模な過去のパイプラインデータベースから、繰り返し出現する高頻度の機械学習操作のシーケンス（構成要素）を同定すること。
• これらの構成要素を用いて遺伝的プログラミングの初期集団を初期化することで、TPOTの多様な分類ベンチマークにおける性能向上を評価すること。
• メタ特徴量とメタラーニングを活用して、将来のAutoMLシステムの初期化プロセスをさらに最適化する可能性を探ること。
• TPOTを、手作業による作業を減らし、人間と同等の性能を発揮するカスタマイズ可能なパイプラインを生成するデータサイエンスアシスタントとして位置づけること。

提案手法

• 160件の教師あり分類パイプラインの大きなデータベースを分析し、機械学習操作の短いシーケンスとして最も頻出する100のものを抽出した。
• 「構成要素」として、前処理およびモデリングステップの小さな再利用可能なシーケンス（例：スケーリング＋ランダムフォレスト）を定義し、効果的なパイプラインに繰り返し出現するものとした。
• これらの構成要素をTPOTの遺伝的プログラミングアルゴリズムの初期集団に統合し、「妥当な初期化」（SI）戦略を構築した。
• 進化過程で分類精度を最大化するとともにパイプラインの複雑さを最小化するように、パレート最適化を用いた。
• TPOTの性能向上を評価するために、160のベンチマークデータセット上で標準的なTPOTと、妥当な初期化を施したTPOT（TPOT-SI）を比較した。
• 再現可能性およびコミュニティによる採用を促進するため、Pythonで実装されたオープンソース版のTPOTを活用した。

実験結果

リサーチクエスチョン

• RQ1 頻出する機械学習パイプラインパターン（構成要素）を同定し、遺伝的プログラミングに基づくAutoMLシステムの初期化に活用できるか？
• RQ2 これらの構成要素を用いた妥当な初期化は、ランダム初期化と比較して、TPOTの収束をより速くし、精度を向上させることができるか？
• RQ3 妥当な初期化による性能向上は、多様な機械学習ベンチマーク全体にわたって一貫しているのか、それともデータセットに依存するのか？
• RQ4 メタ特徴量とメタラーニングを用いて、特定のデータセットに最適な構成要素の選択をさらに洗練できるか？
• RQ5 構成要素の使用は、精度とコンactさの観点から、進化したパイプラインの多様性と品質にどのように影響を与えるか？

主な発見

• 160件の分類パイプラインのデータベースから、100の頻出する機械学習パイプライン構成要素を同定した。
• これらの構成要素を用いた妥当な初期化により、TPOTの性能が1つのベンチマークで顕著に向上したが、他のベンチマークでは性能が低下しなかった。
• TPOT-SIは、160のベンチマークのうち52件で中央値のバランス精度が90％以上、79件で80％以上を達成し、強力な一般化能力を示した。
• 熟練者の知識を初期集団に埋め込むことで、総当たり探索の必要性を低減し、収束を加速させた。
• 結果から、構成要素はGPベースのAutoMLにおける有効な事前知識（prior）として機能でき、解の品質を損なわず効率性を向上させられると示唆された。
• このアプローチは、実務家が微調整可能なPythonコードを出力する高品質なパイプラインを生成するTPOTの『データサイエンスアシスタント』というビジョンを支援している。