[論文レビュー] BLOX: Macro Neural Architecture Search Benchmark and Algorithms

Thomas Chau, Łukasz Dudziak+3 more|arXiv (Cornell University)|Oct 13, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

本稿では、CIFAR-100で訓練された91,125種類の独自CNNモデルと、多様なハードウェアにおける遅延測定を含む大規模なマクロニューラルアーキテクチャ探索（NAS）ベンチマーク「Blox」を紹介する。ブロック単位のNASアルゴリズムを評価し、署名ベースのブロック表現と精度予測が、マクロ探索空間における探索効率と性能を顕著に向上させることを示した。本研究は、スケーラブルで高精度なNASの基盤を提供する。

ABSTRACT

Neural architecture search (NAS) has been successfully used to design numerous high-performance neural networks. However, NAS is typically compute-intensive, so most existing approaches restrict the search to decide the operations and topological structure of a single block only, then the same block is stacked repeatedly to form an end-to-end model. Although such an approach reduces the size of search space, recent studies show that a macro search space, which allows blocks in a model to be different, can lead to better performance. To provide a systematic study of the performance of NAS algorithms on a macro search space, we release Blox - a benchmark that consists of 91k unique models trained on the CIFAR-100 dataset. The dataset also includes runtime measurements of all the models on a diverse set of hardware platforms. We perform extensive experiments to compare existing algorithms that are well studied on cell-based search spaces, with the emerging blockwise approaches that aim to make NAS scalable to much larger macro search spaces. The benchmark and code are available at https://github.com/SamsungLabs/blox.

研究の動機と目的

• マクロNASにおける標準化されたベンチマークの欠如、特に段階ごとに多様なブロックアーキテクチャを許容する点を解決すること。
• 従来のセルベース探索を超えて、大規模なマクロ探索空間におけるNASアルゴリズムの体系的評価を可能にすること。
• ブロック署名、精度予測子、トレーニング戦略の観点から、新興のブロックワイズNASアルゴリズムの有効性を分析すること。
• 効率的でハードウェアに配慮したNASを促進するため、公開可能なベンチマークとコードベースを提供すること。
• ブロックレベルの多様性を活用することで、高精度かつ低遅延を達成するスケーラブルなNAS手法の設計を支援すること。

提案手法

• Bloxベンチマークは、3段階のマクロ探索空間を定義しており、各段階で45種類の独自アーキテクチャを持つ探索可能ブロックを含み、合計で45³ = 91,125種類の異なるモデルが生成される。
• すべてのモデルは、標準化されたトレーニングプロトコルに従ってCIFAR-100で訓練され、CPU、GPU、TPUなどの複数のハードウェアプラットフォームで推論遅延が測定される。
• ブロックワイズNASアルゴリズムは、アーキテクチャ的性質を表現するための学習済みブロック署名と、完全なトレーニングなしで性能を推定する精度予測子を用いて評価される。
• フレームワークは、微分可能NAS、強化学習、遺伝的戦略を含むさまざまなNASパラダイムをサポートし、アルゴリズム間の比較を可能にする。
• ベンチマークにはモデル重みと遅延データが含まれており、コードとデータセットはCC BY-NCライセンスの下でGitHubにホスティングされている。
• 本研究は、分割統治戦略を採用しており、各段階を局所的なヒューリスティクスを用いて独立して探索し、最終的にモデルを組み立てる。

実験結果

リサーチクエスチョン

• RQ1 従来のセルベースNASと比較して、ブロックワイズNASアルゴリズムは大規模なマクロ探索空間でどのように性能を発揮するか？
• RQ2 ブロック署名は、マクロ探索空間におけるNASの精度と効率にどのような影響を与えるか？
• RQ3 精度予測子は、高いモデル性能を維持しつつ、探索コストをどれほど削減できるか？
• RQ4 ハードウェア固有の遅延測定は、NASにおける最適アーキテクチャの選定にどのように影響するか？
• RQ5 マクロ探索環境における高性能なブロックワイズNASアルゴリズムを特徴づける主な構成要素は何か？

主な発見

• Bloxベンチマークは、CIFAR-100で訓練された91,125種類の独自モデルを含み、複数のハードウェアプラットフォームでの遅延測定が可能で、ハードウェアに配慮したNAS評価を可能にする。
• 学習済みブロック署名と精度予測子を用いるブロックワイズNASアルゴリズムは、探索時間に顕著な高速化を達成しながらも、競争力のある精度を維持している。
• Bloxでトップパフォーマンスを示したモデルは、CIFAR-100で85％以上のテスト精度を達成しており、マクロ探索による高性能アーキテクチャの可能性を示している。
• ベンチマークは、段階ごとのブロック多様性が一様なブロックスタックよりも、精度-遅延トレードオフを改善することを明らかにした。
• 一部のブロックで訓練された精度予測子は、未学習のアーキテクチャに対しても良好に一般化でき、探索中の完全トレーニングの必要性を低減することが示された。
• データセットとコードベースはGitHubで公開されており、バージョニングと貢献メカニズムを備えており、今後の研究拡張を支援する。