[論文レビュー] Efficient Sample-based Neural Architecture Search with Learnable Predictor

Han Shi, Renjie Pi+4 more|arXiv (Cornell University)|Nov 21, 2019

Advanced Neural Network Applications被引用数 5

ひとこと要約

この論文では、サンプリング効率を向上させるためにベイズ最適化と学習可能なグラフ畳み込みネットワーク予測器を組み合わせたサンプルベースのニューラルアーキテクチャサーチフレームワーク、BONASを提案する。サンプリングにはエボリューションアルゴリズムを、性能予測にはサーヴェイモデルを用いることで、BONASはNAS-Bench-101でランダムサーチに比べ123.7倍、先行SOTA手法に比べ7.5倍高い効率を達成する。

ABSTRACT

Neural Architecture Search (NAS) has shown great potentials in finding a better neural network design than human design. Sample-based NAS is the most fundamental method aiming at exploring the search space and evaluating the most promising architecture. However, few works have focused on improving the sampling efficiency for NAS algorithm. For balancing exploitation and exploration, we propose BONAS (Bayesian Optimized Neural Architecture Search), a sample-based NAS framework combined with Bayesian Optimization. The main components of BONAS are Sampler and Learnable Embedding Extractor. Specifically, we apply Evolution Algorithm method as our sampler and apply Graph Convolutional Network predictor as a surrogate model to adaptively discover and incorporate nodes structure to approximate the performance of the architecture. For NAS-oriented tasks, we also design a weighted loss focusing on architectures with high performance. Extensive experiments are conducted to verify the effectiveness of our method over many competing methods, e.g. 123.7x more efficient than Random Search and 7.5x more efficient than previous SOTA LaNAS for finding the best architecture on the largest NAS data set NAS-Bench-101.

研究の動機と目的

• サンプルベースのニューラルアーキテクチャサーチ（NAS）におけるサンプリング効率を向上させ、高価なアーキテクチャ評価の回数を削減すること。
• ベイズ最適化フレームワークを用いて、NASにおける探索と活用のトレードオフを適切に制御すること。
• アーキテクチャ表現を適応的に学習し、高い精度で性能を予測できるサーヴェイモデルを開発すること。
• トレーニング中に優れたアーキテクチャを優先するための重み付き損失関数を設計すること。

提案手法

• BONASは、評価用の候補アーキテクチャを生成・選択するため、サンプラーとしてエボリューションアルゴリズムを採用する。
• グラフ畳み込みネットワーク（GCN）に基づく予測器が、完全なトレーニングを伴わずにアーキテクチャの性能を推定するサーヴェイモデルとして機能する。
• 予測器は、有望な候補に対して精度を向上させるために、優れたアーキテクチャに重点を置いた重み付き損失関数を用いてトレーニングされる。
• フレームワークは、新しいアーキテクチャの探索と優れたアーキテクチャの活用の両立を図るべく、ベイズ最適化を統合してサンプリングプロセスをガイドする。
• アーキテクチャ表現は、探索空間内の構造的情報を捉えることができる微分可能埋め込み抽出器を通じて学習される。
• システムは新しい評価結果を動的に更新することで、時間経過に伴い適応的かつ効率的な探索を可能にする。

実験結果

リサーチクエスチョン

• RQ1 サンプルベースのNASにおけるサンプリング効率を、アーキテクチャ性能を損なわせることなく著しく向上させることは可能か？
• RQ2 グラフ畳み込みネットワークに基づく学習可能なサーヴェイモデルは、最小限のトレーニングデータでニューラルアーキテクチャの性能を効果的に予測できるか？
• RQ3 ベイズ最適化と学習可能な予測器を統合することで、必要なアーキテクチャ評価回数はどの程度削減できるか？
• RQ4 優れたアーキテクチャに焦点を当てた重み付き損失関数は、性能予測器の精度をどのように向上させるか？
• RQ5 提案手法は、効率性と最終的なアーキテクチャ精度の両面で、既存の最先端手法を上回ることができるか？

主な発見

• BONASはNAS-Bench-101データセットでランダムサーチに比べ123.7倍高い効率を達成し、必要な評価回数を顕著に削減した。
• LaNASという先行SOTA手法に比べ7.5倍の効率向上を達成しながら、最終的なアーキテクチャ性能を維持または向上させた。
• 重み付き損失関数を用いたGCNベースの予測器は、優れたアーキテクチャにおける一般化性能に優れ、重要とされる候補の予測誤差を低減した。
• ベイズ最適化の統合により、探索と活用のバランスが効果的に実現され、最適なアーキテクチャへの収束が加速した。
• 学習可能な埋め込み抽出器は、ニューラルアーキテクチャ内の構造的パターンを効果的に捉え、アーキテクチャのトポロジーからの正確な性能予測を可能にした。