[論文レビュー] AutoML-Zero: Evolving Machine Learning Algorithms From Scratch

Esteban Real, Liang Chen+2 more|arXiv (Cornell University)|Mar 6, 2020

Machine Learning and Data Classification参考文献 83被引用数 115

ひとこと要約

本論文は AutoML-Zero を提示し、基本的な数学演算を用いてスクラッチから完全な機械学習アルゴリズムを進化させ、ニューラルネットだけでなく、バックプロパゲーションのような学習を含む、単純な手法と高度な手法の両方を発見するフレームワークである。

ABSTRACT

Machine learning research has advanced in multiple aspects, including model structures and learning methods. The effort to automate such research, known as AutoML, has also made significant progress. However, this progress has largely focused on the architecture of neural networks, where it has relied on sophisticated expert-designed layers as building blocks---or similarly restrictive search spaces. Our goal is to show that AutoML can go further: it is possible today to automatically discover complete machine learning algorithms just using basic mathematical operations as building blocks. We demonstrate this by introducing a novel framework that significantly reduces human bias through a generic search space. Despite the vastness of this space, evolutionary search can still discover two-layer neural networks trained by backpropagation. These simple neural networks can then be surpassed by evolving directly on tasks of interest, e.g. CIFAR-10 variants, where modern techniques emerge in the top algorithms, such as bilinear interactions, normalized gradients, and weight averaging. Moreover, evolution adapts algorithms to different task types: e.g., dropout-like techniques appear when little data is available. We believe these preliminary successes in discovering machine learning algorithms from scratch indicate a promising new direction for the field.

研究の動機と目的

• AutoML が、手作りの部品を使わず、基本的な構成要素から自動的に完全な ML アルゴリズムを発見できることを示す。
• 進化的探索が、単純なニューラルネットと特定のタスクに適したより高度なアルゴリズムの両方を見つけられることを示す。
• 異なるタスクタイプやデータレジーム（例：few-shot、正則化）に対してアルゴリズムがどのように適応するかを調査する。
• 広大なアルゴリズム空間を探索するためのオープンソースのインフラストラクチャと拡張可能な探索戦略を提供する。

提案手法

• ML アルゴリズムを、Setup、Predict、Learn の3つのコンポーネントを持つプログラムとして、有限のメモリと基本演算上で動作させて表現する。
• 突然変異を伴う進化的探索（正則化された進化）を用いて候補アルゴリズムの集団を構築する。
• 機能的等価性検証（FEC）と分散ワーカーを適用して高スループット探索を実現する（CPUあたり約10kモデル/秒）。
• 代理タスク（CIFAR-10の二値化/ MNIST風タスクなど）でアルゴリズムを評価し、タスクの中央値パフォーマンスで選択し、次により大規模なタスクで検証する。
• 変動可能なコンポーネント長と65個の演算の広範なセットを許容して、探索空間における人間のバイアスを最小化する。

実験結果

リサーチクエスチョン

• RQ1 進化的探索は、基本的な数学演算だけを用いてスクラッチから ML アルゴリズムを発見できるか？
• RQ2 探索空間のバイアスを最小化したとき、どのような学習規則やアーキテクチャ的モチーフが出現するか？
• RQ3 発見されたアルゴリズムは、代理タスクを超えた実世界のデータセットへどの程度転移するか？
• RQ4 アルゴリズム群は、少数ショットや多クラスなど、異なるタスクタイプやデータレジームにどのように適応するか？

主な発見

• 進化的探索は、ランダム探索が不十分な非常に大規模で汎用的な空間のアルゴリズムを発見できる。
• CIFAR-10 の変種や他のデータセットで、進化で得られたアルゴリズムは手動設計のベースラインを上回り、バックプロパゲーションで訓練されたネットに近づくか、これを上回ることがある。
• アルゴリズムは、成長的相互作用、正規化された勾配、重み平均化など、進化中に現れる技術を示す。
• Dropoutに似た正則化と学習率減衰は、タスクが正則化を要求する場合やより速い収束を要求する場合に現れる。
• ゼロから始めて、進化はバックプロパゲーションを使用するニューラルネットを再発見でき、より広い演算を用いれば非ニューラルなアーキテクチャも発見できる。