[論文レビュー] Noisy Differentiable Architecture Search

Xiangxiang Chu, Bo Zhang|arXiv (Cornell University)|May 7, 2020

Semantic Web and Ontologies参考文献 61被引用数 37

ひとこと要約

NoisyDARTSは差分可能なアーキテクチャ探索中にスキップ接続へ無偏 Gaussian ノイズを注入し、スキップ経路の不公平な優位性を抑制して損失状況を平滑化し、探索コストを低く抑えつつ最先端のNAS結果を実現します。

ABSTRACT

Simplicity is the ultimate sophistication. Differentiable Architecture Search (DARTS) has now become one of the mainstream paradigms of neural architecture search. However, it largely suffers from the well-known performance collapse issue due to the aggregation of skip connections. It is thought to have overly benefited from the residual structure which accelerates the information flow. To weaken this impact, we propose to inject unbiased random noise to impede the flow. We name this novel approach NoisyDARTS. In effect, a network optimizer should perceive this difficulty at each training step and refrain from overshooting, especially on skip connections. In the long run, since we add no bias to the gradient in terms of expectation, it is still likely to converge to the right solution area. We also prove that the injected noise plays a role in smoothing the loss landscape, which makes the optimization easier. Our method features extreme simplicity and acts as a new strong baseline. We perform extensive experiments across various search spaces, datasets, and tasks, where we robustly achieve state-of-the-art results. Our code is available at https://github.com/xiaomi-automl/NoisyDARTS.

研究の動機と目的

• Differentiable Architecture Search (DARTS)でスキップ接続への過度な依存によって生じる性能崩壊を動機づけ、解決する。
• 勾配フローを正則化しアーキテクチャ探索を安定させるための単純で無偏のノイズ注入戦略を提案する。
• 無偏ノイズ設計と損失 landscapeの滑らかさへの影響を理論的に正当化する。
• 複数の探索空間・データセット・タスクにわたりNoisyDARTSを経験的に検証し、探索コストを削減しつつ最先端の結果を達成する。

提案手法

• 出力にガウスノイズを注入してスキップ接続の出力を正規化し、候補操作間の勾配フローを整える（OFS: Only For Skip; also a broader NFA: Noise For All, option）。
• ノイズを z ~ N(μ, σ^2) として中間特徴に追加し、E[z] = 0 を保証して無偏な勾配を確保する。
• 元のsoftmaxベースのアーキテクチャ重み α および DARTS最適化フレームワークを維持し、探索目的は α と w に対する検証損失を最小化するという形を保つ。
• 注入ノイズの設計原理を導出する：無偏性が重要で、分散 σ^2 が探索と正則化の強さを制御し、ノイズの型は大部分の間で交換可能。
• ノイズが損失ランドスケープを平滑化し、ノイズ付き目的関数を2次近似で近似することで、より勝ちやすい操作を優先する直感を提供する。

実験結果

リサーチクエスチョン

• RQ1 無偏の加法ノイズをスキップ接続に注入することは、DARTSにおけるスキップ経路の不釣り合いな優位性を軽減するか。
• RQ2 NoisyDARTSは多様な探索空間とデータセットで堅牢かつ最先端のNAS性能を、探索コストを低く抑えつつ達成できるか。
• RQ3 注入ノイズの無偏性と分散が最適化ダイナミクスと最終的なアーキテクチャ品質にどう影響するか。
• RQ4 標準のDARTSバリアントと比較して、縮小/頑健な探索空間でNoisyDARTSアプローチは有効か。
• RQ5 NoisyDARTSは代替ノイズ正則化手法（例：SDARTS）と比べて効率と性能の点でどうなるか。

主な発見

• NoisyDARTSはスキップ接続の不公平な優位性を排除し、崩壊を防ぎ競争力のあるモデルを可能にする。
• 複数のベンチマークと探索空間で、RobustDARTSより大幅に低い探索コストで最先端の結果を達成。
• ゼロ平均の無偏ノイズを使用することで、CIFAR-10およびImageNetの評価の両方で堅牢な性能向上を達成。
• 偏っているノイズ（あるいはDropoutに類似した代替案）と比較して、無偏ノイズは勾配のバイアス低減と探索安定性の向上に一貫して優れる。
• アブレーションにより、無偏・ゼロ平均ノイズが必須であり、偏ったノイズは性能を低下させ最適化を誤導しうることが示された。