[論文レビュー] Auto-Keras: An Efficient Neural Architecture Search System

Haifeng Jin, Qingquan Song+1 more|arXiv (Cornell University)|Jun 27, 2018

Machine Learning and Data Classification参考文献 35被引用数 83

ひとこと要約

本論文は、ネットワークモーフィズムに導かれたベイズ最適化と、編集距離ニューラルネットカーネルおよび木構造の取得最適化を用いて、ニューラルアーキテクチャを効率的に探索するオープンソースの AutoML システム Auto-Keras を紹介する。

ABSTRACT

Neural architecture search (NAS) has been proposed to automatically tune deep neural networks, but existing search algorithms, e.g., NASNet, PNAS, usually suffer from expensive computational cost. Network morphism, which keeps the functionality of a neural network while changing its neural architecture, could be helpful for NAS by enabling more efficient training during the search. In this paper, we propose a novel framework enabling Bayesian optimization to guide the network morphism for efficient neural architecture search. The framework develops a neural network kernel and a tree-structured acquisition function optimization algorithm to efficiently explores the search space. Intensive experiments on real-world benchmark datasets have been done to demonstrate the superior performance of the developed framework over the state-of-the-art methods. Moreover, we build an open-source AutoML system based on our method, namely Auto-Keras. The system runs in parallel on CPU and GPU, with an adaptive search strategy for different GPU memory limits.

研究の動機と目的

• 深層ニューラルネットワークの自動チューニングを促進・実現し、専門知識と計算コストを削減する。
• ネットワークモーフィズムとベイズ最適化を組み合わせて、大規模な探索空間を効率的に探索する NAS フレームワークを開発する。
• CPU と GPU の両方で動作し、メモリ適応型探索を備えたオープンソースの AutoML システム（Auto-Keras）を作成する。
• 非ユークリッド空間のアーキテクチャと木構造の探索課題に NAS で対処する。
• 限られた探索時間で標準ベンチマークにおいて優れた性能を示す。

提案手法

• アーキテクチャ間の GP 互換の類似性を定義する編集距離ニューラルネットカーネルを導入する。
• NAS 探索空間を効率的にナビゲートする木構造の取得最適化手法を定義する（A*/ シミュレーテッドアニーリングのハイブリッド）。
• モーフ操作中のテンソル形状の整合性を保つためのグラフレベルのネットワークモーフィズムを提案する。
• 検索中にアーキテクチャを GPU メモリ制約に適合させるメモリ適応型戦略を提供する。
• 使いやすさのために CPU/GPU の並列処理、拡張可能な Graph モジュール、Keras 互換 API を備えた Auto-Keras を実装する。

実験結果

リサーチクエスチョン

• RQ1 ネットワークモーフィズムに導かれたベイズ最適化は、高性能なアーキテクチャを発見しつつ NAS の探索時間を短縮するのにどの程度効果的か？
• RQ2 編集距離ベースのニューラルネットカーネルは NAS におけるガウス過程のアーキテクチャ類似性を捉えられるか？
• RQ3 木構造の取得最適化は、モーフ探索空間における探索と開拓のバランスを安定して取れるか？
• RQ4 制約された探索時間の下で、標準ベンチマーク（MNIST、CIFAR-10、Fashion-MNIST）に対して、既存の NAS/AutoML 手法と比較して Auto-Keras のパフォーマンスはどうか？
• RQ5 メモリ適応型戦略と CPU/GPU 並列処理は実践的にどの程度スケールするか？

主な発見

• 限られた探索時間の下で、Auto-Keras は MNIST、CIFAR-10、Fashion-MNIST においてベースライン NAS 手法より優れた性能を達成する。
• 新規の編集距離ニューラルネットカーネルは、非ユークリッド NAS 探索空間上でのガウス過程回帰を可能にする。
• A*/シミュレーテッドアニーリングのハイブリッドによる木構造取得最適化は、モーフィング操作を効率的に探索する。
• グラフレベルのネットワークモーフィズムは、モーフ中の中間テンソル形状を保持し、スケーラブルなアーキテクチャ更新を可能にする。
• CPU/GPU の並列処理と GPU メモリ適応は、さまざまなハードウェアで探索の効率と実現性を大幅に向上させる。