[論文レビュー] Efficient Neural Architecture Search with Network Morphism

Haifeng Jin, Qingquan Song+1 more|arXiv (Cornell University)|Jun 27, 2018

Advanced Neural Network Applications被引用数 63

ひとこと要約

本稿では、ニューラルネットワークカーネルと木構造の獲得関数最適化を用いて、局所的変換操作の選択を高速化するベイズ最適化誘導型ネットワークモーフィズムフレームワークを提案する。この手法は、実世界のデータセットにおいて、顕著に低い探索コストで最先端の性能を達成する。

ABSTRACT

While neural architecture search (NAS) has drawn increasing attention for automatically tuning deep neural networks, existing search algorithms usually suffer from expensive computational cost. Network morphism, which keeps the functionality of a neural network while changing its neural architecture, could be helpful for NAS by enabling a more efficient training during the search. However, network morphism based NAS is still computationally expensive due to the inefficient process of selecting the proper morph operation for existing architectures. As we know, Bayesian optimization has been widely used to optimize functions based on a limited number of observations, motivating us to explore the possibility of making use of Bayesian optimization to accelerate the morph operation selection process. In this paper, we propose a novel framework enabling Bayesian optimization to guide the network morphism for efficient neural architecture search by introducing a neural network kernel and a tree-structured acquisition function optimization algorithm. With Bayesian optimization to select the network morphism operations, the exploration of the search space is more efficient. Moreover, we carefully wrapped our method into an open-source software, namely Auto-Keras for people without rich machine learning background to use. Intensive experiments on real-world datasets have been done to demonstrate the superior performance of the developed framework over the state-of-the-art baseline methods.

研究の動機と目的

• 既存のニューラルアーキテクチャサーチ（NAS）手法の高い計算コストを低減すること。
• ネットワークモーフィズムに基づくNASにおける変換操作選択の非効率性を克服すること。
• ベイズ最適化を用いて変換操作選択を誘導し、探索効率を向上させること。
• 非エキスパートが利用可能なオープンソースツール、Auto-Kerasを開発すること。
• 最先端のベースラインと比較して、実世界のデータセットにおいて優れたパフォーマンスと効率性を示すこと。

提案手法

• ベイズ最適化における変換操作とパフォーマンスの関係をモデル化するためのニューラルネットワークカーネルを導入する。
• 変換操作の探索空間を効率的に探索するための木構造の獲得関数最適化アルゴリズムを設計する。
• 観測されたパフォーマンスに基づいて、繰り返し有望な変換操作を選択するベイズ最適化を用いる。
• 予測行動を保持するアーキテクチャ変換を用いて、モーフィズム中にネットワークの機能を維持する。
• 非エキスパートユーザーが簡単に利用できるように、フレームワークをAuto-Kerasに統合する。
• 限られたパフォーマンス評価を活用して、高いサンプル効率で探索を誘導する。

実験結果

リサーチクエスチョン

• RQ1 ベイズ最適化は、ネットワークモーフィズムに基づくNASにおける変換操作選択を効果的に高速化できるか？
• RQ2 提案されたニューラルネットワークカーネルは、変換操作パフォーマンスのモデリングをどのように改善するか？
• RQ3 標準的手法と比較して、木構造の獲得関数最適化は探索効率をどの程度向上させるか？
• RQ4 精度と計算コストの観点から、本フレームワークは最先端のNAS手法と比較してどの程度優れているか？
• RQ5 本フレームワークは、広範なアクセスを可能にするオープンソースツールに効果的に統合できるか？

主な発見

• 提案されたフレームワークは、顕著に低い計算コストで実世界のデータセットにおいて最先端のパフォーマンスを達成する。
• ニューラルネットワークカーネルを用いたベイズ最適化により、変換操作探索空間のより効率的な探索が可能になる。
• 木構造の獲得関数最適化により、変換操作選択におけるサンプル効率が向上する。
• ベンチマークデータセットにおいて、既存のNASベースラインと比較して、精度と探索効率の両面で優れた性能を発揮する。
• Auto-Kerasへの統合により、機械学習の専門知識が乏しいユーザーが、深い知識なしに効率的なNASを実行できるようになる。
• 本フレームワークは、多様な実世界のデータセットにおいて、優れた一般化性能とスケーラビリティを示す。