[論文レビュー] Rapid Neural Architecture Search by Learning to Generate Graphs from Datasets

Hayeon Lee, Eunyoung Hyung+1 more|arXiv (Cornell University)|Jul 2, 2021

Advanced Neural Network Applications参考文献 46被引用数 6

ひとこと要約

本論文では、クロスモダリティ・ラテン空間を通じて、未学習のデータセットから直接グラフベースのアーキテクチャを生成することにより、最適なニューラルアーキテクチャを迅速に探索するメタラーニングフレームワーク、MetaD2Aを提案する。データセットと事前学習モデルのデータベースを一度だけ学習することで、新しいデータセット上で平均33 GPU秒の探索時間を達成し、従来のNAS手法を上回り、NSGANetV2 よりも5.5K倍高速である。性能は競争力のある水準を維持している。

ABSTRACT

Despite the success of recent Neural Architecture Search (NAS) methods on various tasks which have shown to output networks that largely outperform human-designed networks, conventional NAS methods have mostly tackled the optimization of searching for the network architecture for a single task (dataset), which does not generalize well across multiple tasks (datasets). Moreover, since such task-specific methods search for a neural architecture from scratch for every given task, they incur a large computational cost, which is problematic when the time and monetary budget are limited. In this paper, we propose an efficient NAS framework that is trained once on a database consisting of datasets and pretrained networks and can rapidly search for a neural architecture for a novel dataset. The proposed MetaD2A (Meta Dataset-to-Architecture) model can stochastically generate graphs (architectures) from a given set (dataset) via a cross-modal latent space learned with amortized meta-learning. Moreover, we also propose a meta-performance predictor to estimate and select the best architecture without direct training on target datasets. The experimental results demonstrate that our model meta-learned on subsets of ImageNet-1K and architectures from NAS-Bench 201 search space successfully generalizes to multiple unseen datasets including CIFAR-10 and CIFAR-100, with an average search time of 33 GPU seconds. Even under MobileNetV3 search space, MetaD2A is 5.5K times faster than NSGANetV2, a transferable NAS method, with comparable performance. We believe that the MetaD2A proposes a new research direction for rapid NAS as well as ways to utilize the knowledge from rich databases of datasets and architectures accumulated over the past years. Code is available at https://github.com/HayeonLee/MetaD2A.

研究の動機と目的

• 各新しいデータセットに対して再トレーニングを要する、タスク固有のニューラルアーキテクチャ探索（NAS）の高い計算コストに対処すること。
• 複数の未学習データセットに一般化できるように、共有で転送可能なアーキテクチャ生成プロセスを学習すること。
• データセットとアーキテクチャのデータベース上で1つのモデルをメタラーニングすることで、NASの探索時間を O(N) から O(1) に削減すること。
• ターゲットデータセット上で直接トレーニングを行わずに、アーキテクチャの精度を推定するメタパフォーマンス予測器を開発すること。
• 時間的・予算的制約がある実世界の展開において、効率的で低コストのアーキテクチャ探索を可能にすること。

提案手法

• セットエンコーダーは、データセットレベルの特徴を捉えるために、学習可能で順列同値性を持つアーキテクチャを用いて、入力データセットを潜在埋め込みに変換する。
• グラフデコーダーは、確率的かつ微分可能に、データセットの潜在表現から計算グラフとしてのニューラルアーキテクチャ候補を生成する。
• アモアタイズドメタラーニングを用いて、データセット表現と対応するニューラルアーキテクチャ分布を整列させるクロスモダリティ・ラテン空間を学習する。
• メタパフォーマンス予測器は、データセットとアーキテクチャの両方の入力を用いて、生成されたアーキテクチャの精度を推定するように学習され、データセット間での一般化を向上させる。
• フレームワークは二段階のプロセスを採用する：(1) データセットの潜在埋め込みから複数のアーキテクチャ候補を生成し、(2) メタ予測器を用いて上位性能のものを選択する。
• モデルは、ImageNet-1Kのサブセットと、NAS-Bench 201およびMobileNetV3のアーキテクチャのデータベース上でメタトレーニングされ、ゼロショット一般化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 一度のトレーニングで、再トレーニングなしに複数の未学習データセットに一般化できる単一のNASモデルを構築できるか？
• RQ2 学習された潜在空間が、データセット埋め込みから直接、確率的かつ高品質なアーキテクチャ生成を可能にするか？
• RQ3 ターゲットデータセット上で直接トレーニングを行わずに、メタパフォーマンス予測器がアーキテクチャを正確にランク付けできるか？
• RQ4 提案手法は、既存のNASおよび転送可能なNAS手法と比較して、速度と精度の面でどのように差をつけるか？
• RQ5 生成器は、トレーニングデータベースに存在しない、新規で妥当かつ一意のアーキテクチャをどの程度生成できるか？

主な発見

• MetaD2Aは、CIFAR-10、CIFAR-100、Oxford-IIIT Petsといった未学習のデータセット上で、平均33 GPU秒という非常に高速な探索時間を達成しており、従来のNAS手法を大きく上回っている。
• MobileNetV3の探索空間において、MetaD2AはNSGANetV2 よりも5.5K倍高速でありながら、同等の性能を達成している。
• メタパフォーマンス予測器は、実際のアーキテクチャ精度とのピアソン相関係数が0.8085に達し、他のセットエンコーダーを上回っている。
• 生成器は、NAS-Bench-201では67.31%の新規アーキテクチャを生成し、MobileNetV3では100%を生成しており、妥当性（1.0000）と一意性（それぞれ0.3519および1.0000）が非常に高い。
• MNIST、SVHN、Aircraftといった複数の未学習データセットに対しても、効果的に一般化しており、ランダムサンプリングベースラインよりも一貫した性能向上を示している。
• 提案されたアーキテクチャを備えたセットエンコーダーは、DeepSet や SetTransformer といった従来のセットエンコーダーと比較して、性能予測の精度が向上している。