[論文レビュー] DrNAS: Dirichlet Neural Architecture Search

Xiangning Chen, Ruochen Wang+3 more|arXiv (Cornell University)|Jun 18, 2020

Advanced Neural Network Applications参考文献 45被引用数 7

ひとこと要約

DrNAS は、アーキテクチャ混合重みをディリクレ分布に従う確率的変数としてモデル化する微分可能ニューラルアーキテクチャ探索手法を提案する。これにより、パスワイズ勾配を用いたエンドツーエンド最適化が可能となり、制御された確率的性質によって一般化性能が向上する。CIFAR-10 では 2.46% のテスト誤差、ImageNet ではモバイル設定下で 23.7% のトップ-1誤差を達成し、最先端性能を実現。また、大規模タスク向けに、検索と評価のギャップを解消するプログレッシブな学習スキームを採用している。

ABSTRACT

This paper proposes a novel differentiable architecture search method by formulating it into a distribution learning problem. We treat the continuously relaxed architecture mixing weight as random variables, modeled by Dirichlet distribution. With recently developed pathwise derivatives, the Dirichlet parameters can be easily optimized with gradient-based optimizer in an end-to-end manner. This formulation improves the generalization ability and induces stochasticity that naturally encourages exploration in the search space. Furthermore, to alleviate the large memory consumption of differentiable NAS, we propose a simple yet effective progressive learning scheme that enables searching directly on large-scale tasks, eliminating the gap between search and evaluation phases. Extensive experiments demonstrate the effectiveness of our method. Specifically, we obtain a test error of 2.46% for CIFAR-10, 23.7% for ImageNet under the mobile setting. On NAS-Bench-201, we also achieve state-of-the-art results on all three datasets and provide insights for the effective design of neural architecture search algorithms.

研究の動機と目的

• 直接的な点推定による最適化によって、従来の微分可能NAS手法の不安定さと一般化性能の低さを是正すること。
• 混合重みを確率的変数としてモデル化することで、アーキテクチャ探索空間における探索性能を向上させること。
• 大規模NASにおいて、検索フェーズと評価フェーズの乖離を解消し、本格的なデータセット上で直接検索を可能にすること。
• プロキシタスクや低容量ネットワークを用いずに、メモリ効率が良くスケーラブルなNASフレームワークを構築すること。

提案手法

• 連続的な混合重みをディリクレ分布に従う確率的変数としてモデル化することで、アーキテクチャ探索を分布学習問題として定式化する。
• パスワイズ勾配推定器を用いて、ディリクレ分布のパラメータを勾配ベース最適化と一貫して最適化する。
• 探索と活用のバランスを取るために、ディリクレ集中パラメータに距離正則化項を導入する。
• 理論的境界を導出し、制約付き目的関数がヘッセ行列のノルムを暗黙的に制御することを示し、安定性と一般化性能の向上を促進する。
• スーパーネットをフルスケールで維持し、段階的にチャネル数の割合を増加させるプログレッシブな学習スキームを提案する。
• 学習済み分布に基づく演算プルーニングを適用し、プログレッシブトレーニング中にメモリ効率を保持する。

実験結果

リサーチクエスチョン

• RQ1 ディリクレ分布を用いてアーキテクチャ混合重みを確率的変数としてモデル化することで、微分可能NASにおける一般化性能と安定性が向上するか？
• RQ2 ディリクレ分布がもたらす確率的性質は、アーキテクチャ探索空間における探索にどのように影響するか？
• RQ3 プログレッシブな学習スキームにより、プロキシタスクを用いずに大規模データセット上で性能を落とさずに検索と評価のギャップを解消できるか？
• RQ4 距離正則化項によってディリクレ分布の分散を制御することで、探索の安定性と最終的なアーキテクチャの品質にどのような影響を与えるか？
• RQ5 多様なベンチマークにおいて、精度、分散、スケーラビリティの観点から、DrNAS は最先端のNAS手法と比較してどのように差をつけるか？

主な発見

• DrNAS は CIFAR-10 で 2.46% のテスト誤差を達成し、従来の最先端手法を上回っている。
• モバイル設定下の ImageNet では、トップ-1誤差が 23.7% にまで低下し、前回の最先端手法（24.0%）を上回っている。
• NAS-Bench-201 において、CIFAR-10、CIFAR-100、ImageNet-16-120 のすべてのデータセットで新記録を樹立し、低分散を達成している。
• 効果的な探索から活用への移行が実現されており、サンプリングされたアーキテクチャの精度範囲が時間経過とともに狭まりつつも、高い性能を維持している。
• プログレッシブな学習スキームにより、プロキシタスクを用いずに大規模タスクでの直接的検索が可能となり、検索と評価の乖離が解消された。
• 理論的分析により、制約付き目的関数がバリデーション誤差のヘッセ行列を暗黙的に正則化することを示し、一般化性能の向上が裏付けられた。