[論文レビュー] DropNAS: Grouped Operation Dropout for Differentiable Architecture Search

Weijun Hong, Guilin Li+5 more|arXiv (Cornell University)|Jan 27, 2022

Domain Adaptation and Few-Shot Learning参考文献 9被引用数 24

ひとこと要約

DropNAS は、 differentiable NAS フレームワーク（DARTS）に grouped operation dropout を導入し、共適応とマシュー効果を緩和する。CIFAR-10/100 で最先端の結果を達成し、ImageNet 転写で競争力を持つ。

ABSTRACT

Neural architecture search (NAS) has shown encouraging results in automating the architecture design. Recently, DARTS relaxes the search process with a differentiable formulation that leverages weight-sharing and SGD where all candidate operations are trained simultaneously. Our empirical results show that such procedure results in the co-adaption problem and Matthew Effect: operations with fewer parameters would be trained maturely earlier. This causes two problems: firstly, the operations with more parameters may never have the chance to express the desired function since those with less have already done the job; secondly, the system will punish those underperforming operations by lowering their architecture parameter, and they will get smaller loss gradients, which causes the Matthew Effect. In this paper, we systematically study these problems and propose a novel grouped operation dropout algorithm named DropNAS to fix the problems with DARTS. Extensive experiments demonstrate that DropNAS solves the above issues and achieves promising performance. Specifically, DropNAS achieves 2.26% test error on CIFAR-10, 16.39% on CIFAR-100 and 23.4% on ImageNet (with the same training hyperparameters as DARTS for a fair comparison). It is also observed that DropNAS is robust across variants of the DARTS search space. Code is available at https://github.com/wiljohnhong/DropNAS.

研究の動機と目的

• 重み共有型の differentiable NAS（DARTS）における共適応とマシュー効果の問題を動機づけ、診断する。
• 学習を安定化させ、アーキテクチャパラメータの学習を改善するための Grouped Operation Dropout（DropNAS）を提案する。
• DropNAS が既存の differentiable NAS 手法を単一のフレームワークの下に統合し、CIFAR で最先端の結果を、ImageNet への転移にも競争力を示すことを示す。

提案手法

• DARTS スーパーネットにおける候補操作間の特徴マッピングを可視化して共適応を分析する。
• 学習可能なグループと学習不能なグループに操作を分割し、探索中に制御された drop path rate でサブセットをランダムにドロップする Grouped Operation Dropout を提案する。
• ドロップされた操作の受動的更新を防ぐための Alpha-adjust メカニズムを導入する。
• 探索時に保持された操作だけに weight decay を適用する Partial-Decay を適用する。
• ワンショットモデルを 1段階最適化で訓練し、最終エポックを用いてアーキテクチャを選択する一方で、評価予算を DARTS に合わせて維持する。

実験結果

リサーチクエスチョン

• RQ1 グループ化された操作ドロップアウトは、DARTS のような differentiable NAS フレームワークにおける共適応問題を緩和できるか？
• RQ2 CIFAR および ImageNet スケールのタスクで、安定性と探索品質の最良のトレードオフを生み出す drop path rate および grouping 戦略はどれか？
• RQ3 DropNAS で見つかったアーキテクチャは、より大規模なデータセット（例：ImageNet）や異なる探索空間へうまく転移するか？
• RQ4 提案された調整（alpha-adjust、partial-decay）は性能と安定性にどのように寄与するか？ 実証的には、標準の DARTS、SNAS、ProxylessNAS と比較してどうか？

主な発見

• DropNAS は、CIFAR-10 および CIFAR-100 で、one-level DARTS および関連手法と比べて DARTS に似た性能を大幅に向上させる。
• 報告された最良の drop path rate（r = 3e-5）は、CIFAR-10 および CIFAR-100 のスタンドアローン精度と安定したスーパーネット訓練を一貫して向上させる。
• 特徴クラスタリング分析は、DropNAS で共適応の低減を示し、パラメータ付きおよびパラメータなしの操作群がより類似して動作する。
• DropNAS アーキテクチャは ImageNet へ転移し、競争力のある top-1/top-5 結果を示しつつ、探索コストを合理的に維持する。
• DropNAS は DARTS 探索空間の変種に対して頑丈で、プーリング操作や操作セットが変更されても性能を維持する。
• アブレーション研究は、alpha-adjust、partial-decay、 grouping がそれぞれ最終的な性能向上に寄与することを示している。