[論文レビュー] Evaluating Efficient Performance Estimators of Neural Architectures

Xuefei Ning, Changcheng Tang+5 more|arXiv (Cornell University)|Aug 7, 2020

Adversarial Robustness in Machine Learning参考文献 68被引用数 30

ひとこと要約

この論文は、複数の NAS ベンチマークに跨るニューラルアーキテクチャ探索のためのワンショット推定器（OSE）とゼロショット推定器（ZSE）を評価する包括的なフレームワークを提供し、それらのバイアスと分散を分析し、信頼性を向上させるための戦略を提案する。

ABSTRACT

Conducting efficient performance estimations of neural architectures is a major challenge in neural architecture search (NAS). To reduce the architecture training costs in NAS, one-shot estimators (OSEs) amortize the architecture training costs by sharing the parameters of one "supernet" between all architectures. Recently, zero-shot estimators (ZSEs) that involve no training are proposed to further reduce the architecture evaluation cost. Despite the high efficiency of these estimators, the quality of such estimations has not been thoroughly studied. In this paper, we conduct an extensive and organized assessment of OSEs and ZSEs on five NAS benchmarks: NAS-Bench-101/201/301, and NDS ResNet/ResNeXt-A. Specifically, we employ a set of NAS-oriented criteria to study the behavior of OSEs and ZSEs and reveal that they have certain biases and variances. After analyzing how and why the OSE estimations are unsatisfying, we explore how to mitigate the correlation gap of OSEs from several perspectives. Through our analysis, we give out suggestions for future application and development of efficient architecture performance estimators. Furthermore, the analysis framework proposed in our work could be utilized in future research to give a more comprehensive understanding of newly designed architecture performance estimators. All codes are available at https://github.com/walkerning/aw_nas.

研究の動機と目的

• NAS のための効率的なアーキテクチャ性能推定器（OSEs および ZSEs）の品質を評価する。
• 多様な NAS ベンチマークにおけるバイアス、分散、故障モードを特定する。
• 推定ギャップを緩和し、ランキング信頼性を向上させる実用的な戦略を提供する。

提案手法

• 5 つの NAS ベンチマークで、OSEs（ワンショット推定器）と ZSEs（ゼロショット推定器）の範囲をレビュー・比較する。
• NAS 指向の評価指標（Pearson LC、Kendall の τ、SpearmanR、P@topK、BR@K、WR@K）を用いて推定器の品質を評価する。
• 複雑性レベル、演算レベル、アーキテクチャーレベルでのバイアスを分析し、推定の失敗を説明する。
• 学習、検証データサイズ、サンプリング戦略が観測に与える影響を調査する。
• 分散削減、非同型化サンプリング、共有範囲の低減を含む緩和技術を提案する。

実験結果

リサーチクエスチョン

• RQ1 OSEs および ZSEs は複数の NAS ベンチマークにわたってアーキテクチャのランキングをどのように行うか？
• RQ2 OSEs および ZSEs に影響する主なバイアスと分散は何で、なぜ発生するのか？
• RQ3 提案された戦略は相関ギャップを緩和し、OSEs および ZSEs のランキング品質を改善できるか？
• RQ4 ワンショット訓練と入力データ特性は ZSEs および OSEs の有効性に影響を与えるか？
• RQ5 NAS 実務で効率推定器を適用する際の実践的なガイドラインは何か？

主な発見

• OSEs は通常、より長い訓練とより大きな検証データで改善するが、初期訓練段階ではより単純なアーキテクチャへ偏りが残ることがある。
• OSEs はパラメータ共有と忘却効果による分散を示し、サンプリングの公平性がバイアスに影響を与えることがある。
• 共有範囲を減らし、非同型化サンプリングを採用することで、特に同型空間でのランキング品質を改善できる。
• ゼロショット推定器（ZSEs）は、#Params や #FLOPs のような単純なベースラインと比較してしばしば劣り、アーキテクチャーレベルの ZSEs は空間依存的な挙動を示す。
• ZSEs の中では relu_logdet および jacob_cov が探索空間に応じて相対的な強さを示す一方、多くの ZSEs は特定のアーキテクチャ特性に不適切なバイアスを示す。
• ワンショット訓練は ZSEs を一般に高めず、勾配ベースの ZSEs は訓練後に勾配の大きさが情報量を減じるため劣化する可能性がある。