[論文レビュー] Bag of Tricks for Neural Architecture Search

Thomas Elsken, Benedikt Staffler+3 more|arXiv (Cornell University)|Jul 8, 2021

Advanced Neural Network Applications参考文献 57被引用数 4

ひとこと要約

本稿では、重みのウォームアップ、正規化層の調整、正則化、プロキシ学習など、神経ネットワークアーキテクチャ探索（NAS）手法の安定性、効率性、最終的性能を向上させる包括的な実用的技術を提示する。著者らは、これらの「テクニックの袋」が探索の信頼性と正確性を顕著に向上させることを示しており、しばしばランダムサーチを上回り、ハイパーパrameterへの感受性を低減する。

ABSTRACT

While neural architecture search methods have been successful in previous years and led to new state-of-the-art performance on various problems, they have also been criticized for being unstable, being highly sensitive with respect to their hyperparameters, and often not performing better than random search. To shed some light on this issue, we discuss some practical considerations that help improve the stability, efficiency and overall performance.

研究の動機と目的

• 神経ネットワークアーキテクチャ探索（NAS）手法でよく報告される不安定さとハイパーパrameterへの感受性を解消すること。
• 広く使われているがしばしば隠されている実用的技術を同定・共有することで、NASの信頼性と再現可能性を向上させること。
• プロキシタスクと実際の評価の間の性能ギャップを縮小し、アーキテクチャ選択とトレーニングパイプライン最適化により相関を高めること。
• トレーニングパイプラインの選択（例：データオーグメンテーション、正則化）が、アーキテクチャ設計自体よりも最終的な精度に大きな影響を与える可能性を示すこと。

提案手法

• アーキテクチャパラメータの更新を開始する前に、ネットワーク重みを探索期間の大部分にわたり事前に学習することで、重みのウォームアップを実装し、過剰収束を防ぐ。
• アーキテクチャ探索中に正規化層（例：バッチ正規化）の学習可能なパラメータを無効化することで、アーキテクチャ重みの更新が不安定化するのを回避する。
• ドロップパス、重み減衰、データオーグメンテーションなどの強力な正則化技術を適用し、損失関数の地形を滑らかにすることで、探索の安定性を向上させる。
• 高速化のため、低い忠実度のプロキシタスク（例：小さなデータセット、少ないエポック数、モデルの深さを低減）を用いることで、NASの速度を向上させつつ、完全な精度との相関を維持する。
• マルチコンponentアーキテクチャ（例：セマンティックセグメンテーション、オブジェクト検出）において、固定バックボーンからの特徴をキャッシュすることで、探索中の評価を高速化する。
• 単に最大重みの演算を選択するのではなく、演算の削除に伴う精度低下を最小化する性能に配慮した方法を用いて、連続的リラクゼーションから最終的な離散アーキテクチャを抽出する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースのNAS手法における不安定さとハイパーパrameterへの感受性は、実用的にどのように軽減できるか？
• RQ2 正則化および正規化技術がアーキテクチャ探索の信頼性に与える影響はどの程度か？
• RQ3 プロキシトレーニングタスクと完全な精度評価の間で、探索されたアーキテクチャのランク付けの一貫性はどのように比較されるか？
• RQ4 データオーグメンテーションや学習率スケジュールなどのトレーニングパイプライン要因が、アーキテクチャ選択と比較して最終的なモデル性能に果たす役割は何か？
• RQ5 再トレーニングされた重みやサブワンショットモデルを用いて候補アーキテクチャを再評価することで、アーキテクチャの性能を向上させられるか？

主な発見

• 重みのウォームアップは、速く学習するアーキテクチャ（例：多数のスキップ接続を含むもの）が探索を支配するのを防ぐことで、探索の安定性を顕著に向上させる。
• バッチ正規化はNASにおいてしばしば有害であり、安定性を向上させるために無効化するか、同期正規化やグループ正規化などの代替手法に置き換えるべきである。
• ドロップパスやデータオーグメンテーションなどの強力な正則化により、損失関数の地形が滑らかになり、探索の収束性と性能が向上する。
• データオーグメンテーションや学習率スケジュールを含むトレーニングパイプラインは、アーキテクチャ設計自体よりも最終的な精度に大きな影響を与える可能性があり、パイプラインが一致しない場合、ImageNet上での性能差は最大3.2%に達する。
• 同一の最先端のパイプラインで訓練した場合、MobileNetV3のMobileNetV2に対する精度向上は3.2%から2.0%に低下する。これは、公平な比較の重要性を示している。
• サブワンショットモデルを用いて共適応問題を緩和することで、ワンショットモデルのランク付けと最終的な再訓練アーキテクチャ性能との相関性が向上する。