[論文レビュー] Speedy Performance Estimation for Neural Architecture Search

Binxin Ru, Clare Lyle+4 more|arXiv (Cornell University)|Jun 8, 2020

Advanced Neural Network Applications参考文献 45被引用数 13

ひとこと要約

本稿では、初期のSGDステップにおける訓練損失の和を測定することで、モデルフリーかつ計算効率の良い方法として、トレーニングスピード推定（TSE）を提案する。TSEは、既存の手法に比べて順位付け精度が高く、クエリベースおよびワンショットNASの両設定において、探索効率と精度を向上させる。

ABSTRACT

Reliable yet efficient evaluation of generalisation performance of a proposed architecture is crucial to the success of neural architecture search (NAS). Traditional approaches face a variety of limitations: training each architecture to completion is prohibitively expensive, early stopped validation accuracy may correlate poorly with fully trained performance, and model-based estimators require large training sets. We instead propose to estimate the final test performance based on a simple measure of training speed. Our estimator is theoretically motivated by the connection between generalisation and training speed, and is also inspired by the reformulation of a PAC-Bayes bound under the Bayesian setting. Our model-free estimator is simple, efficient, and cheap to implement, and does not require hyperparameter-tuning or surrogate training before deployment. We demonstrate on various NAS search spaces that our estimator consistently outperforms other alternatives in achieving better correlation with the true test performance rankings. We further show that our estimator can be easily incorporated into both query-based and one-shot NAS methods to improve the speed or quality of the search.

研究の動機と目的

• NASにおけるニューラルアーキテクチャ性能の評価にかかる高い計算コストに対処するため、完全な訓練に代わる高速で信頼性の高い代理指標を導入すること。
• 早期停止法、サーヴェイモデル、重み共有手法の限界を克服すること。これらの手法は、最終的なテスト性能と相関が低いことがしばしばある。
• ハイパーパramータのチューニングやサーヴェイモデルの学習を必要とせず、多様なNASパラダイムと互換性を持つ方法を開発すること。
• トレーニングスピードと一般化性能の理論的根拠に基づいた実用的推定器を確立すること。

提案手法

• TSEは、最初の数ステップのSGDにおける訓練損失の和を用いて、最終的なテスト性能を推定する。この和をトレーニングスピードの代理指標として用いる。
• この手法は、トレーニングスピードと一般化性能の理論的関連性、特にPAC-Bayes境界やベイジアン学習における勾配分散に由来する。
• TSEはモデルフリーであり、別個のサーヴェイモデルの訓練や、デプロイ前のハイパーパramータチューニングを必要としない。
• 異なるiable NAS（例：DARTS、DrNAS）において、検証損失の勾配をTSE勾配更新に置き換えることで、NASパイプラインに統合する。
• DARTS-TSEおよびDrNAS-TSEでは、K=100のミニバッチにわたるTSE推定器の導関数を用いてアーキテクチャパラメータを更新する。これにより更新頻度を低下させつつ、性能を維持する。
• 複数のバッチにわたる損失勾配を集約することで、初期訓練ダイナミクスへの過剰適合を回避し、安定した推定を実現する。

実験結果

リサーチクエスチョン

• RQ1 初期ステップにおける累積訓練損失として測定されるトレーニングスピードは、NASにおける最終的一般化性能の信頼できる代理指標として機能するか？
• RQ2 TSEは、早期停止法、サーヴェイモデル、ゼロコスト推定器といった既存の性能推定手法と比較して、順位相関においてどのように差をつけるか？
• RQ3 TSEは、クエリベースおよびワンショットNASの両フレームワークに効果的に統合可能であり、探索速度の向上またはアーキテクチャ品質の向上を実現できるか？
• RQ4 TSEは、タスク固有のチューニングを要せず、多様な探索空間およびデータセットで強力な性能を維持できるか？

主な発見

• TSEは、すべての評価済みデータセットおよび探索空間において、早期停止法、SoVL、Tlminiに比べ、最終テスト性能の順位付けに関するケンダールのtau相関が顕著に高い。
• CIFAR-10データセットでは、200エポックでTSEはケンダールのtau 0.70（±0.03）を達成し、SoVL（0.54）とTlmini（0.62）を上回る。
• ワンショットNASでは、TSEが検証損失をTSE勾配に置き換えることで、DARTSおよびDrNASの最終精度を向上させ、200エポックでCIFAR-10で93.55％のテスト精度を達成した。
• TSEは限られた訓練ステップでも強力な性能を維持し、CIFAR-10において300エポックで0.71の相関を示し、すべてのベースラインを上回った。
• TSEは、CIFAR-10、CIFAR-100、ImageNet-1kといった異なるデータセットおよびNAS-Bench-101、NAS-Bench-201といった異なる探索空間においても、一貫して他の代替手法よりも正確にアーキテクチャを順位付けする。
• TSEは、完全な訓練の必要性を減らすことで、クエリベースNASにおける探索を高速化しつつ、最終的なアーキテクチャ品質を維持または向上させる。