[論文レビュー] A Surgery of the Neural Architecture Evaluators

Xuefei Ning, Wenshuo Li+6 more|arXiv (Cornell University)|May 4, 2021

Adversarial Robustness in Machine Learning参考文献 13被引用数 8

ひとこと要約

本論文は、NAS-Bench-201の探索空間において、パラメータ共有と予測子ベースのニューラルアーキテクチャ評価者について包括的な分析を実施し、訓練段階や設定が評価精度に与える影響を特定した。高パフォーマンスなアーキテクチャにおけるフィットネス相関の深刻な欠陥を明らかにし、評価者の信頼性を向上させ、今後のNAS研究を導くための実用的で実践的な知見と設計原則を提供する。

ABSTRACT

Neural architecture search (NAS) has recently received extensive attention due to its effectiveness in automatically designing effective neural architectures. A major challenge in NAS is to conduct a fast and accurate evaluation of neural architectures. Commonly used fast architecture evaluators include parameter-sharing ones and predictor-based ones. Despite their high evaluation efficiency, the evaluation correlation (especially of the well-performing architectures) is still questionable. In this paper, we conduct an extensive assessment of both the parameter-sharing and predictor-based evaluators on the NAS-Bench-201 search space, and break up how and why different configurations and strategies influence the fitness of the evaluators. Specifically, we carefully develop a set of NAS-oriented criteria to understand the behavior of fast architecture evaluators in different training stages. And based on the findings of our experiments, we give pieces of knowledge and suggestions to guide NAS application and motivate further research.

研究の動機と目的

• 異なる訓練段階における高速ニューラルアーキテクチャ評価者の信頼性と正確性を評価すること。
• アーキテクチャの設定と訓練戦略が、ニューラルアーキテクチャ探索（NAS）における評価者パフォーマンスに与える影響を特定すること。
• 訓練中の評価者の挙動を捉えることができる、NAS指向の評価基準を構築すること。
• 評価者の忠実性を向上させ、NAS手法を前進させるための実用的知識と設計ガイドラインを提供すること。

提案手法

• 著者らは、パラメータ共有と予測子ベースの評価者を、複数の訓練段階にわたり、NAS-Bench-201の探索空間で広範な実験を実施した。
• 評価者の挙動を分析するための、NAS特有の基準セットを導入し、真の検証精度との相関に焦点を当てた。
• 評価フレームワークは、訓練スケジュール、モデルの深さ、予測子アーキテクチャの違いといった、さまざまな評価者設定を体系的に比較した。
• 特に、上位パフォーマンスを示すアーキテクチャにおいて、評価者予測と実際のアーキテクチャパフォーマンスとの間のフィットネス相関を分析した。
• アブレーションスタディを用いて、特定の設計選択が評価者パフォーマンスに与える影響を分離した。
• 得られた知見を統合し、NAS実務家および今後の評価者設計のための実用的かつ具体的な提言を提示した。

実験結果

リサーチクエスチョン

• RQ1 NASにおける異なる訓練段階において、高速アーキテクチャ評価者のフィットネス相関はどのように変化するか？
• RQ2 特定の設定や戦略は、高パフォーマンスなアーキテクチャにおいて評価者正確性を低下または向上させるか？
• RQ3 NAS-Bench-201ベンチマークにおいて、パラメータ共有と予測子ベースの評価者が真の検証精度とどの程度一致するか？
• RQ4 評価者のアーキテクチャ的選択（例：深さ、幅、訓練スケジュール）は、その予測信頼性にどのように影響するか？
• RQ5 評価者の忠実性を向上させるために導ける設計原則は何か？

主な発見

• パラメータ共有評価者では、特に訓練を早期に打ち切った場合、高パフォーマンスなアーキテクチャにおいて真の検証精度との相関が著しく低くなる。
• 予測子ベース評価者の方がパラメータ共有評価者よりも相関が良いが、パラトリアフロンティアに近いアーキテクチャでは依然として一般化性能に欠ける。
• 評価者における訓練スケジュールやモデルの深さの選択が、アーキテクチャの順位付けの正確性に顕著な影響を与える。
• 小さいまたは浅いモデルで訓練された評価者では、探索空間内のより深いまたはより複雑なアーキテクチャへの一般化に失敗することが多い。
• 本研究では、評価者における早期停止や最適でないハイパーパramータの選択が、誤ったパフォーマンス順位付けを引き起こす要因であると特定した。
• これらの知見は、現在の高速評価者が最良のアーキテクチャを特定するのに信頼できないことを示唆しており、訓練と設計戦略の改善が不可欠である。