[論文レビュー] NAS-Bench-x11 and the power of learning curves

Yan, Shen, White, Colin+2 more|FreiDok plus (Universitätsbibliothek Freiburg)|Jan 1, 2021

Adversarial Robustness in Machine Learning参考文献 76被引用数 8

ひとこと要約

本稿では、ニューラルアーキテクチャサーチのための完全なトレーニング学習曲線（全エポックにおける損失と精度）を提供する代替ベンチマークである NAS-Bench-111、NAS-Bench-311、NAS-Bench-NLP11 を導入する。これにより、学習曲線の外挿などのマルチファシリティ技術が可能となり、4つの探索空間において、単一ファシリティのNASアルゴリズムが早期停止や外挿を統合することで顕著に性能向上することが可能になる。

ABSTRACT

While early research in neural architecture search (NAS) required extreme computational resources, the recent releases of tabular and surrogate benchmarks have greatly increased the speed and reproducibility of NAS research. However, two of the most popular benchmarks do not provide the full training information for each architecture. As a result, on these benchmarks it is not possible to run many types of multi-fidelity techniques, such as learning curve extrapolation, that require evaluating architectures at arbitrary epochs. In this work, we present a method using singular value decomposition and noise modeling to create surrogate benchmarks, NAS-Bench-111, NAS-Bench-311, and NAS-Bench-NLP11, that output the full training information for each architecture, rather than just the final validation accuracy. We demonstrate the power of using the full training information by introducing a learning curve extrapolation framework to modify single-fidelity algorithms, showing that it leads to improvements over popular single-fidelity algorithms which claimed to be state-of-the-art upon release. Our code and pretrained models are available at https://github.com/automl/nas-bench-x11.

研究の動機と目的

• 既存のNASベンチマークが最終的な検証精度のみを保存しており、完全なトレーニング曲線を含まないという制限に対処する。これにより、学習曲線の外挿などのマルチファシリティ技術の利用が妨げられている。
• 大規模な探索空間におけるすべてのアーキテクチャについて、完全な学習曲線（訓練/検証/テスト損失および精度）を予測する高精度な代替ベンチマークの構築手法を開発する。
• 新規ベンチマークから得られる完全なトレーニング曲線情報を用いて、学習曲線の外挿を統合することで、単一ファシリティのNASアルゴリズムの性能が顕著に向上することを実証する。
• CPUベースのベンチマークで高精度な予測を可能にすることで、再現性を高めるとともに、NAS研究における計算コストを削減する。

提案手法

• 完全にトレーニングされたアーキテクチャのサブセットからの完全な学習曲線の次元削減に特異値分解（SVD）を用いる。
• SVDの結果を特徴量として用い、学習曲線の上位特異値係数を回帰モデルで予測する。
• 予測の残差ノイズを学習された分布でモデル化することで、不確実性推定と予測精度を向上させる。
• 探索空間を幅広くカバーするため、ランダムにサンプリングされたアーキテクチャと、優れたNAS手法によって選択されたアーキテクチャの両方を用いて、代替モデルを訓練する。
• 予測の忠実度を向上させるために、早期トレーニング精度（例：NAS-Bench-NLP11では最初の3エポック）などの追加特徴量を代替モデルに統合する。
• ホールドアウトテストセットを用いて、 Kendall Tau 順位相関やKullback-Leibler発散などの指標で代替ベンチマークを検証し、高い予測精度を確認する。

実験結果

リサーチクエスチョン

• RQ1 大規模なニューラルアーキテクチャサーチ探索空間におけるアーキテクチャに対して、完全なトレーニング曲線情報（全エポックにおける損失と精度）を提供する代替ベンチマークを構築可能か？
• RQ2 完全なトレーニング曲線が利用可能な場合、学習曲線の外挿（LCE）は、単一ファシリティのNASアルゴリズムの性能をどの程度向上させるか？
• RQ3 最初の3エポックの精度（例：NAS-Bench-NLP11）を含めることで、NAS-Bench-NLP11用の代替モデルの予測精度はどの程度向上するか？
• RQ4 代替ベンチマークの予測能力は、真値の学習曲線と比較して、順位相関および分布的類似性の観点でどの程度優れているか？
• RQ5 SVDとノイズモデリングを用いた本フレームワークは、将来のNAS研究のための新しい代替ベンチマークの作成に一般化可能か？

主な発見

• 代替ベンチマークである NAS-Bench-111、NAS-Bench-311、NAS-Bench-NLP11 は高い予測精度を達成しており、テストセットにおいて Kendall Tau 順位相関が0.9を超えることが確認され、相対的な性能順序の保存が良好であることが示された。
• 正則化進化、ローカルサーチ、BANANAS といった単一ファシリティのNASアルゴリズムに学習曲線の外挿（LCE）を適用することで、全4つの探索空間で一貫した性能向上が得られた。
• NAS-Bench-111 は、1,101個のトレーニングアーキテクチャでの学習のみで高い平均性能を達成しており、これは NAS-Bench-101 からの追加の検証精度ポイントを特徴量として組み込んでいるためである。
• NAS-Bench-NLP11 では、最初の3エポックの精度を入力特徴量として使用することで、性能が顕著に向上した。これは、代替モデルへの問い合わせの前に3エポックのウォームアップを実施する正当性を示している。
• ノイズモデリング部は、60,000アーキテクチャを含むより大きなトレーニングセットを持つ NAS-Bench-311 で最も効果的であり、予測誤差を低減し、スパイク異常へのロバストネスを向上させた。
• 本フレームワークにより、NAS-Bench-NLP11 では完全トレーニングに比べ15倍の高速化が達成され、高い予測忠実度を維持した。これにより、CPUベースのNAS実験が可能かつ効率的になった。