[論文レビュー] How to Train Your Super-Net: An Analysis of Training Heuristics in Weight-Sharing NAS

Kaicheng Yu, René Ranftl+1 more|arXiv (Cornell University)|Mar 9, 2020

Vehicle Routing Optimization Methods参考文献 44被引用数 26

ひとこと要約

本稿は、重み共有ニューラルアーキテクチャサーチ（NAS）におけるトレーニングヒューリスティクスを体系的に評価し、パスドロップアウトやバッチ正則化といった一般的な手法がスーパーネット性能を著しく低下させることを明らかにした。スパース・ケンダール・トウ相関係数を導入し、ハイパーパrameterを最適化することで、NASBench-101上で相関を0.22から0.46まで向上させ、公平なNAS比較の再現可能なベースラインを確立した。

ABSTRACT

Weight sharing promises to make neural architecture search (NAS) tractable even on commodity hardware. Existing methods in this space rely on a diverse set of heuristics to design and train the shared-weight backbone network, a.k.a. the super-net. Since heuristics and hyperparameters substantially vary across different methods, a fair comparison between them can only be achieved by systematically analyzing the influence of these factors. In this paper, we therefore provide a systematic evaluation of the heuristics and hyperparameters that are frequently employed by weight-sharing NAS algorithms. Our analysis uncovers that some commonly-used heuristics for super-net training negatively impact the correlation between super-net and stand-alone performance, and evidences the strong influence of certain hyperparameters and architectural choices. Our code and experiments set a strong and reproducible baseline that future works can build on.

研究の動機と目的

• 重み共有NASにおける一般的なトレーニングヒューリスティクスがスーパーネット性能に与える影響を特定・評価すること。
• ハイパーパrameterやアーキテクチャ選択の不一致によるNAS手法間の公平な比較の欠如を是正すること。
• スーパーネットトレーニング品質を評価するより信頼性の高い指標「スパース・ケンダール・トウ（S-KdT）」を提案すること。
• ランダムサーチを用いて、再現可能で最先端の重み共有NASのベースラインを確立すること。
• 一部の広く採用されているヒューリスティクスが性能に悪影響を及える一方、他のものにはほとんど影響がないことを実証すること。

提案手法

• 著者らは、3つのベンチマーク探索空間（NASBench-101、NASBench-201、DARTS-NDS）において体系的なアブレーションスタディを実施した。
• 学習率、バッチサイズ、チャネル幅、パスドロップアウト、正則化手法を含む14のハイパーパrameterおよびアーキテクチャ選択を評価した。
• スーパーネットの順位と実際のスタンドアロンモデル性能との相関を測るため、新しい指標「スパース・ケンダール・トウ（S-KdT）」を導入した。
• 制御されたトレーニングプロトコルを用い、プロキシ指標（例：P > R）と最終アーキテクチャ性能の両方を評価した。
• NASBench-101におけるスーパーネットを最適化されたハイパーパrameterで再トレーニングし、S-KdTを0.22から0.46まで顕著に向上させた。
• すべてのコードとトレーニング済みモデルを公開し、再現可能性を確保するとともに、統一されたWS-NASベンチマークを提供した。

実験結果

リサーチクエスチョン

• RQ1 重み共有NASにおけるトレーニングヒューリスティクスの中で、スーパーネット性能および最終アーキテクチャ精度との相関に最も強い影響を与える要因は何か？
• RQ2 パスドロップアウト、バッチ正則化、重み初期化といった一般的な実践が、スーパーネット順位の信頼性にどのように影響を与えるか？
• RQ3 一般的に使用されるスーパーネット精度は、探索されたモデルの真の性能とどの程度相関しているか？
• RQ4 より頑健な指標としてのスパース・ケンダール・トウは、標準的な精度指標を上回ってスーパーネットトレーニングの品質を評価できるか？
• RQ5 ハイパーパrameterおよびアーキテクチャ選択の中で、計算コストを最小限に抑えつつ高い性能を達成するために不可欠な要因は何か？

主な発見

• 一般的に使用されるスーパーネット精度指標は、最終スタンドアロンモデル性能との相関が低く（0.236）、評価指標としての信頼性が制限されている。
• パスドロップアウト率が0.15以上では性能が著しく低下し、NASBench-101におけるS-KdTが0.236から0.186に低下した。
• バッチ正則化を併用した重み共有（WSBN）は、NASBench-101でS-KdTが0.085にまで低下し、極めて悪い性能を示した。
• 提案されたスパース・ケンダール・トウ指標は、ハイパーパrameter最適化後、最終モデル性能との相関が0.46にまで向上し、顕著に高い相関を達成した。
• 層数を1層減らすことでS-KdTが0.236から0.214に向上した。これは、より深いスーパーネットが常に良いとは限らないことを示している。
• NASBench-101における最終最適化済みスーパーネットは、S-KdTが0.46に達し、ベースライン比で93%の向上を達成した。これにより、ランダムサーチでも最先端の結果が得られた。