[論文レビュー] Auto-Keras: Efficient Neural Architecture Search with Network Morphism

Haifeng Jin, Qingquan Song+1 more|arXiv (Cornell University)|Jun 27, 2018

Machine Learning and Data Classification参考文献 30被引用数 65

ひとこと要約

この論文では、ネットワークモーフィズムとベイズ最適化を活用して計算コストを低減する、効率的なニューラルアーキテクチャサーチフレームワークであるAuto-Kerasを提案する。ニューラルネットワークカーネルと木構造の獲得関数最適化を導入することで、アーキテクチャ全体にわたる高速で適応的な探索が可能となり、ベンチマークデータセットにおいて最先端の性能を達成するとともに、動的メモリ適応を備えた並列CPU/GPU実行をサポートする。

ABSTRACT

Neural architecture search (NAS) has been proposed to automatically tune deep neural networks, but existing search algorithms, e.g., NASNet, PNAS, usually suffer from expensive computational cost. Network morphism, which keeps the functionality of a neural network while changing its neural architecture, could be helpful for NAS by enabling more efficient training during the search. In this paper, we propose a novel framework enabling Bayesian optimization to guide the network morphism for efficient neural architecture search. The framework develops a neural network kernel and a tree-structured acquisition function optimization algorithm to efficiently explores the search space. Intensive experiments on real-world benchmark datasets have been done to demonstrate the superior performance of the developed framework over the state-of-the-art methods. Moreover, we build an open-source AutoML system based on our method, namely Auto-Keras. The system runs in parallel on CPU and GPU, with an adaptive search strategy for different GPU memory limits.

研究の動機と目的

• NASNet や PNAS などの既存のニューラルアーキテクチャサーチ（NAS）手法が抱える高い計算コストを解消すること。
• ネットワークモーフィズムを用いて、アーキテクチャを変更しながら機能を保持することで、大規模なニューラルアーキテクチャ空間における効率的な探索を可能にすること。
• ニューラルネットワークカーネルと木構造の獲得関数を備えたベイズ最適化フレームワークを構築し、効果的な探索を実現すること。
• GPUメモリの利用可能量に応じて動的にメモリを調整できる実用的でオープンソースのAutoMLシステム（Auto-Keras）を構築すること。

提案手法

• 変換されたアーキテクチャとその性能の関係をモデル化するためのニューラルネットワークカーネルを導入する。
• 探索空間を効率的に走破できる木構造の獲得関数最適化アルゴリズムを採用する。
• 既存のアーキテクチャ（例：層の追加・削除など）を変換するネットワークモーフィズムを適用し、機能を保持する。
• 性能予測に基づいてモーフィズムステップをベイズ最適化で誘導することで、完全な再トレーニングの必要性を低減する。
• 利用可能なGPUメモリに応じて動的に調整される適応的探索戦略を設計し、多様なハードウェア環境での効率的実行を可能にする。
• 複数のアーキテクチャにわたる探索を高速化するため、CPUとGPUでの並列実行パイプラインを実装する。

実験結果

リサーチクエスチョン

• RQ1 ネットワークモーフィズムをベイズ最適化と効果的に組み合わせることで、ニューラルアーキテクチャサーチの計算コストを低減できるか？
• RQ2 変換されたアーキテクチャを効率的にモデル化し、探索を効果的に誘導できるニューラルネットワークカーネルをどのように設計できるか？
• RQ3 複雑なアーキテクチャ空間の探索において、木構造の獲得関数が標準的な獲得関数を上回る性能を示せるか？
• RQ4 提案されたフレームワークは、既存のNAS手法と比較して、探索コストを削減しつつ、最先端の精度を達成できるか？
• RQ5 GPUメモリ制限が異なるさまざまなハードウェア構成において、Auto-Kerasシステムはどの程度スケーラブルに動作するか？

主な発見

• 提案されたフレームワークは、実世界のベンチマークデータセットにおいて最先端の性能を達成し、既存のNAS手法を精度面で上回っている。
• ネットワークモーフィズムの活用により、従来のNASアプローチと比較して顕著に訓練コストを削減した効率的なアーキテクチャサーチが実現された。
• 木構造の獲得関数最適化により、標準的手法よりもアーキテクチャ空間の探索がより効果的に行えるようになった。
• Auto-KerasシステムはCPUとGPUで並列実行され、探索中に異なるメモリ制約に適応して動作する。
• フレームワークは優れた一般化性能と効率性を示しており、実世界の応用において自動ニューラルアーキテクチャサーチを実用可能にした。