[論文レビュー] A Study on Encodings for Neural Architecture Search

Colin White, Willie Neiswanger+2 more|arXiv (Cornell University)|Jul 9, 2020

Neural Networks and Applications参考文献 32被引用数 5

ひとこと要約

本稿は、神経ネットワークアーキテクチャ探索（NAS）における符号化の最初の形式的分析を提示し、隣接行列やパスベース符号化などの異なる表現がアルゴリズムの性能に与える影響を分析している。符号化の選択が、ランダムサンプリング、アーキテクチャの摂動、予測子の学習といった主要なNASサブルーチンに顕著な影響を与えることが示されており、一般化性能とスケーラビリティの観点で、隣接符号化がパスベース符号化を上回っていることが判明した。

ABSTRACT

Neural architecture search (NAS) has been extensively studied in the past few years. A popular approach is to represent each neural architecture in the search space as a directed acyclic graph (DAG), and then search over all DAGs by encoding the adjacency matrix and list of operations as a set of hyperparameters. Recent work has demonstrated that even small changes to the way each architecture is encoded can have a significant effect on the performance of NAS algorithms. In this work, we present the first formal study on the effect of architecture encodings for NAS, including a theoretical grounding and an empirical study. First we formally define architecture encodings and give a theoretical characterization on the scalability of the encodings we study Then we identify the main encoding-dependent subroutines which NAS algorithms employ, running experiments to show which encodings work best with each subroutine for many popular algorithms. The experiments act as an ablation study for prior work, disentangling the algorithmic and encoding-based contributions, as well as a guideline for future work. Our results demonstrate that NAS encodings are an important design decision which can have a significant impact on overall performance. Our code is available at https://github.com/naszilla/nas-encodings.

研究の動機と目的

• アーキテクチャ符号化がニューラルアーキテクチャ探索（NAS）の性能に与える影響を形式的に定義し分析すること。
• ランダムサンプリング、摂動、予測子の学習といった符号化依存サブルーチンを同定・評価すること。
• アブレーションスタディを通じて、従来のNAS研究におけるアルゴリズム的寄与と符号化に基づく寄与を分離すること。
• 異なる符号化で学習されたニューラル予測子の、探索空間の境界を越えた一般化能力を評価すること。
• 特定のNASサブルーチンとユースケースに応じた最適な符号化の選定に関する実用的提案を提供すること。

提案手法

• 符号化を、ニューラルアーキテクチャを実数値テンソルにマッピングする多関数として定義し、従来の任意的表現を形式化する。
• 情報損失の観点からスケーラビリティを特徴づけ、パスベース符号化では $ r^{k/n} $ における段階的転移を同定する。
• 隣接、カテゴリカル隣接、パス、切断パス、カテゴリカルパス、切断カテゴリカルパスの8種類の異なる符号化を実装・評価する。
• ランダムアーキテクチャサンプリング、アーキテクチャの摂動、予測モデルの学習という3つの主要NASサブルーチンにおいてアブレーションスタディを実施する。
• NASBench-101のサブセット上でニューラル予測子を学習し、異なる符号化を用いて、互いに非交差な探索空間への一般化をテストする。
• 各符号化によって定義される同値クラス内での精度の平均標準偏差を測定し、情報損失を評価する。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャ符号化の選択が、NAS表現のスケーラビリティと情報保持に与える影響は何か？
• RQ2 ランダムサンプリング、摂動、予測子学習という3つの主要NASサブルーチンにおいて、どの符号化が最も優れているか？
• RQ3 ある探索空間で学習したニューラル予測子は、非交差な探索空間に一般化可能か？その一般化能力は符号化に依存するか？
• RQ4 特に切断された場合に、異なる符号化が情報の保持・喪失にどの程度影響を与えるか？
• RQ5 特定の符号化（例：パス符号化）の非一対一性が、同値クラス内での精度の分散に与える影響は何か？

主な発見

• パスベース符号化は、理論的に予測されたように、$ r^{k/n} $ において情報損失の急激な段階的転移を示し、$ r^{k/(2n)} $ 未満ではほぼ完全な情報損失が生じる。
• 隣接符号化はパスベース符号化を上回り、予測子の一般化性能が優れており、トップ10平均テスト誤差は6.056（切断カテゴリカルパスでは6.335）を記録した。
• パス符号化における同値クラス内での精度の平均標準偏差は0.353%であり、全アーキテクチャ全体の5.55%と比較して顕著に低いことから、類似性能のモデルが良好にクラスタリングされていることが示された。
• カテゴリカル隣接およびパス符号化は、標準の隣接符号化よりも一般化性能が劣っており、おそらく分布外アーキテクチャにおけるスパarsityと特徴の不一致が原因である。
• パス符号化の理論的スケーラビリティ特徴づけは、実験結果と一致しており、段階的転移モデルの妥当性が裏付けられた。
• 本研究はアルゴリズム的寄与と符号化に基づく寄与を分離し、符号化の選択がアルゴリズム設計とは独立してNAS性能に顕著な影響を与えることが判明した。