[論文レビュー] Taking Human out of Learning Applications: A Survey on Automated Machine Learning

Quanming Yao, Mengshuo Wang+7 more|arXiv (Cornell University)|Oct 31, 2018

Machine Learning and Data Classification参考文献 182被引用数 221

ひとこと要約

本サーベイは、既存のアプローチを統一的な問題設定と技術の枠組みで体系化することで、自動機械学習（AutoML）の包括的なフレームワークを提案する。構造的な分類体系を提供し、成功要因を分析し、機械学習パイプラインにおける人間の専門知識の削減を目的とする研究者・実務家にとっての基盤的ガイドとして機能する。

ABSTRACT

Machine learning techniques have deeply rooted in our everyday life. However, since it is knowledge- and labor-intensive to pursue good learning performance, human experts are heavily involved in every aspect of machine learning. In order to make machine learning techniques easier to apply and reduce the demand for experienced human experts, automated machine learning (AutoML) has emerged as a hot topic with both industrial and academic interest. In this paper, we provide an up to date survey on AutoML. First, we introduce and define the AutoML problem, with inspiration from both realms of automation and machine learning. Then, we propose a general AutoML framework that not only covers most existing approaches to date but also can guide the design for new methods. Subsequently, we categorize and review the existing works from two aspects, i.e., the problem setup and the employed techniques. Finally, we provide a detailed analysis of AutoML approaches and explain the reasons underneath their successful applications. We hope this survey can serve as not only an insightful guideline for AutoML beginners but also an inspiration for future research.

研究の動機と目的

• 機械学習パイプラインにおける人間の専門知識の削減という急増するニーズに対応するため、MLパイプラインの重要な段階を自動化すること。
• 自動化と機械学習の両者の原則を統合することで、AutoML問題を定義・形式化すること。
• 既存の手法を網羅し、将来の手法設計をガイドする汎用的なAutoMLフレームワークを提案すること。
• 問題設定と用いられる技術に基づいて、既存のAutoML研究を分類・レビューすること。
• 実世界の応用におけるさまざまなAutoMLアプローチの成功要因を分析すること。

提案手法

• 本論文は、データ前処理、特徴工学、モデル選択、ハイパーパramータチューニングなどのモジュラーなコンponentに機械学習パイプラインを抽象化する汎用的なAutoMLフレームワークを導入する。
• フレームワークは、問題設定（例：表形式データ、ディープラーニング、強化学習ベース）と技術（例：ベイズ最適化、ニューラルアーキテクチャ探索、メタラーニング）の2つの次元に沿ってAutoMLアプローチを分類する。
• フレームワークは拡張可能に設計されており、新しい手法をその構造にマッピングでき、新規AutoML技術の開発をガイドする。
• 最新の手法の網羅的カバーと関連性を確保するため、産業界および学術界の文献からの知見を統合する。
• 多様なAutoML技術を統一的な分類体系の下に整理するにあたり、方法論の整合性と概念の明確さに重点を置く。
• 成功応用の分析は、アルゴリズム設計と自動化戦略における共通パターンの特定に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 文献に散在する多様なアプローチを統一的に扱えるように、AutoML問題を形式的に定義・構造化するにはどうすればよいか？
• RQ2 既存および将来の手法を対応可能にする汎用AutoMLフレームワークの主な構成要素とモジュラー要素は何か？
• RQ3 異なる問題設定（例：教師あり学習、強化学習）は、AutoMLシステムの設計とパフォーマンスにどのように影響を与えるか？
• RQ4 異なるAutoMLサブタスクにおいて最も効果的な技術は何か？実務で成功する理由は何か？
• RQ5 実世界の応用において最先端のAutoMLシステムが成功を収める背後にある共通要因は何か？

主な発見

• 提案されたAutoMLフレームワークは、多数の既存AutoMLアプローチを一貫性があり拡張可能なアーキテクチャに統合・構造化することに成功している。
• ベイズ最適化はハイパーパramータチューニングにおいて、ニューラルアーキテクチャ探索はモデルアーキテクチャ探索において特に効果的であることが示された。
• メタラーニングとアンサンブル手法は、多様なデータセットや問題タイプにわたる強力な一般化性能を示した。
• AutoMLシステムの成功は、効果的な探索戦略およびデータ前処理と特徴工学の堅牢な自動化に起因することが多い。
• 本サーベイでは、MLパイプラインの複数段階を一括して最適化するエンドツーエンド自動化への明確なトレンドが同定された。
• フレームワークは、コンponentsと相互作用を明確に定義することで、研究者が新しいAutoML手法を設計するための実用的ロードマップを提供する。