[論文レビュー] Towards modular and programmable architecture search

Renato Negrinho, Darshan Patil+4 more|arXiv (Cornell University)|Sep 30, 2019

Machine Learning and Data Classification被引用数 11

ひとこと要約

本論文は、ニューラルアーキテクチャサーチにおける一般計算グラフ上の探索空間を定義する形式的でモジュール化され、プログラマブルな言語を導入する。一貫したインターフェースを通じて探索空間の定義と探索アルゴリズムを分離することで、フレームワークは、多様な探索空間とアルゴリズムの組み合わせを組み合わせ可能で再利用可能かつ拡張可能に実験可能にする。これは、最小限の実装オーバーヘッドで最先端のアーキテクチャと探索手法の効率的なベンチマークが可能であることを示している。

ABSTRACT

Neural architecture search methods are able to find high performance deep learning architectures with minimal effort from an expert. However, current systems focus on specific use-cases (e.g. convolutional image classifiers and recurrent language models), making them unsuitable for general use-cases that an expert might wish to write. Hyperparameter optimization systems are general-purpose but lack the constructs needed for easy application to architecture search. In this work, we propose a formal language for encoding search spaces over general computational graphs. The language constructs allow us to write modular, composable, and reusable search space encodings and to reason about search space design. We use our language to encode search spaces from the architecture search literature. The language allows us to decouple the implementations of the search space and the search algorithm, allowing us to expose search spaces to search algorithms through a consistent interface. Our experiments show the ease with which we can experiment with different combinations of search spaces and search algorithms without having to implement each combination from scratch. We release an implementation of our language with this paper.

研究の動機と目的

• 既存のニューラルアーキテクチャサーチシステムにおけるプログラマビリティとモジュール性の欠如に対処すること。
• 専門家が一般計算グラフ上で構造的かつ再利用可能な方法で探索空間を定義・組み合わせることを可能にすること。
• 探索空間の実装と探索アルゴリズムの実装を分離することで、より高い柔軟性と拡張性を実現すること。
• 再実装を必要とせずに、多様な探索空間とアルゴリズムの組み合わせを体系的かつ効率的にベンチマーク可能にすること。
• 既存の手法と新規のアーキテクチャサーチワークフローの両方をサポートする汎用フレームワークを提供すること。

提案手法

• モジュラーなコンponentsとハイパーパramータを備えた計算グラフとして探索空間を形式的に記述するための言語を提案する。
• 各ノードが設定可能なハイパーパramータを持つ探索空間コンponentを表す階層的かつ再帰的な構造を採用する。
• あらゆる探索アルゴリズムに探索空間を公開する一貫したインターフェースを導入し、実装詳細を抽象化する。
• 探索者の状態を `sample` と `update` インターフェースを介して更新する状態保持型の探索フレームワークを採用し、アルゴリズムに依存しない探索空間走査を可能にする。
• 独立したハイパーパramータに値を割り当てるために `random_specify` を使用し、評価用の終端アーキテクチャを生成する。
• 条件付きおよび独立したハイパーパramータ空間の両方をサポートし、複雑で構造的な探索空間定義を可能にする。

実験結果

リサーチクエスチョン

• RQ1 多様なニューラルアーキテクチャサーチ探索空間をモジュラーかつ組み合わせ可能な方法で形式的に表現できる言語を設計できるか？
• RQ2 一貫したインターフェースを用いることで、探索空間と探索アルゴリズムの実装をどの程度分離できるか？
• RQ3 このフレームワークを用いることで、研究者が新しい探索空間とアルゴリズムの組み合わせをどの程度効率的に実験できるか？
• RQ4 このフレームワークは、文献に登場する実世界の探索空間を最小限の作業でエンコードおよびベンチマーク可能か？
• RQ5 この言語は、再利用可能で拡張可能かつ保守可能なアーキテクチャサーチ研究ワークフローを可能にするか？

主な発見

• フレームワークは、文献に登場する複数のベンチマーク探索空間（Nasbench、Nasnet、遺伝的探索空間など）を、コードの重複を最小限に抑えて正しくエンコードできた。
• 分離されたインターフェースのおかげで、探索空間の実装を変更せずに、ランダムサーチ、MCTS、SMBO、正則化進化といった多様な探索アルゴリズムをスムーズに統合できた。
• グリッドサーチの実験では、探索フェーズで得られた最良のアーキテクチャが、Nasbench探索空間を用いてCIFAR-10で94.59％のテスト精度を達成し、他の設定を上回った。
• 探索アルゴリズムの比較では、SMBOと正則化進化が600エポック時点で平均検証精度92.85％および92.21％を達成し、ランダムサーチ（92.29％）とMCTS（92.08％）を上回った。
• フレームワークは、新規の探索空間とアルゴリズムの組み合わせの迅速なプロトタイピングとベンチマークを可能にし、実装オーバーヘッドを著しく削減した。