[論文レビュー] AutonoML: Towards an Integrated Framework for Autonomous Machine Learning

David Jacob Kedziora, Katarzyna Musiał+1 more|arXiv (Cornell University)|Dec 23, 2020

Machine Learning and Data Classification被引用数 10

ひとこと要約

本稿では、ハイパラメータ最適化、ニューラルアーキテクチャ探索、自動特徴工学、メタラーニング、動的適応、多目的評価を統合した自律的機械学習（AutonoML）フレームワークを提案する。主な貢献は、これらの要素を統合的に結びつける概念的アーキテクチャを提示し、自己適応的で最小限の監視を要するMLライフサイクルシステムの実現を示している。

ABSTRACT

Over the last decade, the long-running endeavour to automate high-level processes in machine learning (ML) has risen to mainstream prominence, stimulated by advances in optimisation techniques and their impact on selecting ML models/algorithms. Central to this drive is the appeal of engineering a computational system that both discovers and deploys high-performance solutions to arbitrary ML problems with minimal human interaction. Beyond this, an even loftier goal is the pursuit of autonomy, which describes the capability of the system to independently adjust an ML solution over a lifetime of changing contexts. However, these ambitions are unlikely to be achieved in a robust manner without the broader synthesis of various mechanisms and theoretical frameworks, which, at the present time, remain scattered across numerous research threads. Accordingly, this review seeks to motivate a more expansive perspective on what constitutes an automated/autonomous ML system, alongside consideration of how best to consolidate those elements. In doing so, we survey developments in the following research areas: hyperparameter optimisation, multi-component models, neural architecture search, automated feature engineering, meta-learning, multi-level ensembling, dynamic adaptation, multi-objective evaluation, resource constraints, flexible user involvement, and the principles of generalisation. We also develop a conceptual framework throughout the review, augmented by each topic, to illustrate one possible way of fusing high-level mechanisms into an autonomous ML system. Ultimately, we conclude that the notion of architectural integration deserves more discussion, without which the field of automated ML risks stifling both its technical advantages and general uptake.

研究の動機と目的

• AutoML研究の断片的な状態に起因する課題を解決するため、多様なメカニズムを統合的に1つの自律的フレームワークに統合することを目的とする。
• AutoMLから真のAutonoMLに進化させる上で、アーキテクチャ統合が重要な課題であるが、未だ十分に検討されていないことを特定することを目的とする。
• ハイパラメータ最適化、ニューラルアーキテクチャ探索、自動特徴工学、メタラーニング、動的適応の既存研究を統合し、統一的な概念的モデルを構築することを目的とする。
• 生涯学習、リソース制約、柔軟な人間-AI連携を支援するシステムレベルの設計の必要性を強調することを目的とする。
• 自律的かつ進化を遂げる機械学習デプロイメントが可能な複雑な適応的システムの構築に関する議論を喚起することを目的とする。

提案手法

• 個々のMLコンponentsからMLパイプライン、パイプラインバンドル、適応的システムへと進化する概念的フレームワークを構築する。
• ハイパラメータおよびニューラルアーキテクチャ探索に、逐次モデルベース最適化（SMBO）とベイズ最適化を統合する。
• 過去のML実験から得た知識を転送することで、探索の効率を向上させるため、メタラーニングを組み込む。
• ストリーミングデータ環境における概念変化検出および継続的学習のメカニズムを備え、動的適応を実現する。
• パフォーマンス、遅延、計算コストのバランスを取るために、多目的評価およびリソースに配慮した運用を支援する。
• データ、特徴工学、モデル挙動の可視化を通じた柔軟なユーザー参加を可能にし、人間-AI連携を促進する。

実験結果

リサーチクエスチョン

• RQ1 ハイパラメータ最適化、ニューラルアーキテクチャ探索、自動特徴工学といった、バラバラなAutoMLコンponentsを、一体的で整合性のあるシステムアーキテクチャに統合する方法は何か？
• RQ2 変化するデータおよび環境条件下で、生涯にわたる自律的学習を実現するためのアーキテクチャ的原則は何か？
• RQ3 過去のML実験から得たメタ知識を、新しい学習タスクの性能を向上・加速するために効果的に活用する方法は何か？
• RQ4 自律的システムにおいて、モデルパフォーマンス、リソース使用量、デプロイメント制約のバランスを取るために、多目的最適化が果たす役割は何か？
• RQ5 システムの自律性を損なわせることなく、人間の専門知識とユーザー制御を自律的MLパイプラインに意味的に統合する方法は何か？

主な発見

• 複数のAutoMLコンponentsを統合した一貫性のあるフレームワークへの統合は技術的に可能であり、真のAutonoMLへの道のりにおいて不可欠な一歩である。
• アーキテクチャ統合が、自動モデル選択を超えて完全に自律的で自己適応的なシステムに進化させるのを妨げる中心的課題であると特定された。
• 動的適応および概念変化の対処は、現実世界の変化し続ける環境で継続的学習を実現するために不可欠である。
• メタラーニングにより、過去の実験から得た知識を再利用することで、探索の効率が著しく向上し、徹底的な再トレーニングの必要性が低減される。
• 多目的評価およびリソースに配慮した最適化は、ハードウェア制約や遅延制約がある現実世界のシステムへのモデルデプロイに不可欠である。
• 自律的システムであっても、データ、特徴工学、モデル挙動の可視化を通じたユーザー参加は、信頼性とシステムの透明性を確保するために不可欠である。