[論文レビュー] NAS-Bench-360: Benchmarking Neural Architecture Search on Diverse Tasks

Renbo Tu, Nicholas J. Roberts+4 more|arXiv (Cornell University)|Oct 12, 2021

Advanced Neural Network Applications被引用数 11

ひとこと要約

NAS-Bench-360 は、視覚、音声、ゲノム、科学計算をカバーする10の機械学習タスクを網羅する多様なベンチマークスイートを導入し、伝統的なコンピュータビジョンベンチマークを超えてニューラルアーキテクチャサーチ（NAS）手法の評価を実施する。研究では、最先端のNAS手法が多様なタスクにおいて一貫性のない性能を示すことが判明しており、リソース制約下では固定CNNがNASを上回ることが多い一方、ゼロコストプロキシは信頼性の低い性能を示す。

ABSTRACT

Most existing neural architecture search (NAS) benchmarks and algorithms prioritize well-studied tasks, e.g. image classification on CIFAR or ImageNet. This makes the performance of NAS approaches in more diverse areas poorly understood. In this paper, we present NAS-Bench-360, a benchmark suite to evaluate methods on domains beyond those traditionally studied in architecture search, and use it to address the following question: do state-of-the-art NAS methods perform well on diverse tasks? To construct the benchmark, we curate ten tasks spanning a diverse array of application domains, dataset sizes, problem dimensionalities, and learning objectives. Each task is carefully chosen to interoperate with modern CNN-based search methods while possibly being far-afield from its original development domain. To speed up and reduce the cost of NAS research, for two of the tasks we release the precomputed performance of 15,625 architectures comprising a standard CNN search space. Experimentally, we show the need for more robust NAS evaluation of the kind NAS-Bench-360 enables by showing that several modern NAS procedures perform inconsistently across the ten tasks, with many catastrophically poor results. We also demonstrate how NAS-Bench-360 and its associated precomputed results will enable future scientific discoveries by testing whether several recent hypotheses promoted in the NAS literature hold on diverse tasks. NAS-Bench-360 is hosted at https://nb360.ml.cmu.edu.

研究の動機と目的

• CIFAR-10 や ImageNet といったよく研究されたコンピュータビジョンタスクを超えて、NAS手法に対する堅牢な評価が不足しているという問題に対処すること。
• 画像分類タスクで優れた性能を示すNAS手法が、ゲノム、音声、科学シミュレーションなどの遠方応用分野に一般化できるかを調査すること。
• 統一されたベンチマークフレームワークを用いて、異種のドメイン間でNASアルゴリズムおよび探索空間の再現可能で体系的な評価を可能にすること。
• 2つのタスクにおける15,625アーキテクチャの事前計算済みパフォーマンス結果を公開し、NAS研究の加速とトレーニングコストの低減を図ること。
• ゼロコストプロキシの有効性といった、既存のNAS仮説が、視覚以外のタスクにおいても妥当であるかを検証すること。

提案手法

• 画像分類、音声認識、タンパク質構造予測、ゲノム、流体動力学、医療信号処理をカバーする10の多様な機械学習タスクを収集した。
• 標準的な畳み込みニューラルネットワーク（CNN）探索空間と互換性を持つようにタスクを選定し、NAS手法が開発された元の文脈とは大きく異なる分野を代表させる。
• NAS-Bench-201の探索空間に属する15,625アーキテクチャについて、CIFAR-100 および Spherical の2つのタスクで事前計算された正確性と FLOPS を公開し、迅速な評価を可能にした。
• すべてのタスクで標準的なNASアルゴリズム（例：DARTS、DenseNAS、Auto-DL、AMBER）とベースライン（例：Wide ResNet、エキスパートが設計したモデル）を用いた。
• エラープロファイルを用いてタスク全体での性能を評価し、ある手法のエラーが最良手法のエラーのτ倍以内に入るタスクの割合を測定した。
• アブレーションスタディを実施し、NAS仮説の一般化可能性を検証した。これにはゼロコストプロキシの性能と探索空間の効率性が含まれる。

実験結果

リサーチクエスチョン

• RQ1 最先端のNAS手法は、多様で視覚以外の機械学習タスクにおいて一貫して優れた性能を示すのか？
• RQ2 画像分類を目的としたNAS手法は、ゲノム、音声、科学シミュレーションなどのタスクに効果的に一般化できるのか？
• RQ3 ゼロコストプロキシは多様なタスクでどのように性能を示すのか？ また、コンピュータビジョンを越えてアーキテクチャのパフォーマンスを信頼性高く予測できるのか？
• RQ4 リソース制約下のさまざまなドメインにおいて、NASを固定アーキテクチャよりも優位に利用できるのか？
• RQ5 画像分類タスクで確認された既存のNASの知見（例：特定の探索アルゴリズムの優位性）が、より広範なタスク範囲で有効であるとまでは言えるのか？

主な発見

• リソース制約下の研究者らは、NASを適用するよりも固定の Wide ResNet を使用するほうが効果的である可能性がある。NAS手法は多様なタスクでしばしば性能を発揮しない。
• NAS-Bench-201に基づく分析やコンピュータビジョンタスクからの知見は、他のドメインに一般化できない。これは、NAS手法がタスク固有の振る舞いを示すことを示唆している。
• ゼロコストプロキシは NAS-Bench-360 タスク全体で一貫性のない性能を示し、以前の報告と一致しており、多様な設定では信頼性が低いことが浮き彫りになった。
• NAS手法のパフォーマンスはタスクによって顕著に異なる。たとえば Cosmic や DeepSEA のような特定のドメインでは、一部の手法が劣悪な結果を示しており、タスクの特性に極めて敏感であることが判明した。
• CIFAR-100 および Spherical の2つのタスクについて、15,625アーキテクチャのFLOPSとパラメータ数を複数の探索空間で報告しており、迅速な評価と再現性が可能になった。
• エキスパートが設計したモデルは、特に ECG や DeepSEA のような分野では、パラメータ効率性と FLOPS の観点でNASで学習されたモデルを上回ることが多い。ここではカスタムモジュールが重要である。