[論文レビュー] Speeding up NAS with Adaptive Subset Selection

Vishak Prasad C, Colin White+3 more|arXiv (Cornell University)|Nov 2, 2022

Machine Learning and Data Classification被引用数 6

ひとこと要約

本稿では、1ショットNASと適応的サブセット選択を統合することで、精度を損なわずにトレーニング時間を著しく短縮する、新しいNAS手法Adaptive-Dptを提案する。探索中に代表的なトレーニングサブセットを動的に選択することで、CIFAR-10およびImageNet-1Kで最大10倍の高速化を達成し、最先端の性能を維持する。

ABSTRACT

A majority of recent developments in neural architecture search (NAS) have been aimed at decreasing the computational cost of various techniques without affecting their final performance. Towards this goal, several low-fidelity and performance prediction methods have been considered, including those that train only on subsets of the training data. In this work, we present an adaptive subset selection approach to NAS and present it as complementary to state-of-the-art NAS approaches. We uncover a natural connection between one-shot NAS algorithms and adaptive subset selection and devise an algorithm that makes use of state-of-the-art techniques from both areas. We use these techniques to substantially reduce the runtime of DARTS-PT (a leading one-shot NAS algorithm), as well as BOHB and DEHB (leading multifidelity optimization algorithms), without sacrificing accuracy. Our results are consistent across multiple datasets, and towards full reproducibility, we release our code at https: //anonymous.4open.science/r/SubsetSelection NAS-B132.

研究の動機と目的

• ニューラルアーキテクチャサーチ（NAS）の高い計算コストを低減しつつ、モデルの精度を維持すること。
• DARTS-PTのような既存の1ショットNAS手法の非効率性に取り組み、アーキテクチャ最適化がなされても依然として遅い問題を解決すること。
• 効率的トレーニングにおける適応的サブセット選択とNASの間のギャップを、二段階最適化フレームワークを活用して埋めること。
• BOHB や DEHB のようなマルチファシリティNASアルゴリズムを、適応的データサブセットの使用によって強化する汎用的フレームワークを開発すること。

提案手法

• DARTS-PTとGLISTERを組み合わせた混合離散連続二段階最適化問題を定式化し、アーキテクチャ重み、モデル重み、および適応的トレーニングサブセットの共同最適化を可能にする。
• GLISTERの適応的サブセット選択を用い、NAS探索中に繰り返し代表的なトレーニングデータサブセットを更新することで、データフットプリントをフルデータセットの10%にまで削減する。
• 適応的サブセット選択をマルチファシリティNASパイプラインに統合し、ハイパーパramータ最適化の高速化を図るAdaptive-BOHBおよびAdaptive-DEHBを構築する。
• 時間スケジュール付きの更新をサブセット選択プロセスに適用し、探索全体を通してモデル性能が安定するように保証する。
• 1ショットNASと適応的サブセット選択の自然な双対性を活用し、両者をトレーニングセットとバリデーションセットの上での二段階問題として定式化する。
• 4つのサブセット選択手法（施設配置、エントロピー、ランダム、GLISTER）を1ショットNASに統合した包括的コードベースを公開し、再現性とベンチマークの促進を図る。

実験結果

リサーチクエスチョン

• RQ1 適応的サブセット選択を1ショットNASと効果的に統合することで、性能の低下を伴わずに探索時間を短縮できるか？
• RQ2 動的に更新される小さなトレーニングデータサブセット上で学習された場合、NASアルゴリズムの性能はどのようにスケーリングするか？
• RQ3 適応的サブセット選択は、BOHB や DEHB のようなマルチファシリティNASアルゴリズムをどの程度高速化できるか？
• RQ4 施設配置法は、特にエントロピー法やランダム選択と比較して、NASにおけるサブセット選択のベースラインとして実用的で効果的であると言えるか？
• RQ5 適応的サブセット選択の統合により、NASパイプラインにおけるCO2排出量と計算コストのネット削減が達成できるか？

主な発見

• CIFAR-10のS4探索空間において、Adaptive-DptはGPU時間（33.50から2.60に）を10倍短縮し、テスト精度を35.00%から36.10%まで向上させた。
• DARTS探索空間では、GPU時間（20.59から2.75に）を86.7%削減し、テスト精度（96.73% ± 0.29 vs. 97.17% for DARTS-PT）は同等を維持した。
• NAS-Bench-201では、Adaptive-Dptはトレーニングデータの10%と0.87 GPU時間でCIFAR-10で88.83% ± 1.09のテスト精度を達成し、ベースラインと同等またはそれを上回った。
• Adaptive-BOHBとAdaptive-DEHBは、それぞれBOHBとDEHBに対して顕著な高速化を達成し、最終的なアーキテクチャ性能に低下は見られなかった。
• NASにおける施設配置法をサブセット選択のベースラインとして用いることは、複数の設定で有効であることが示され、ランダム選択やエントロピー法を上回った。
• 複数のデータセットと探索空間にわたり、実行時間の短縮が一貫して得られており、適応的サブセット選択アプローチの汎用性と頑健性が裏付けられた。