[論文レビュー] GOLD-NAS: Gradual, One-Level, Differentiable

Kaifeng Bi, Lingxi Xie+3 more|arXiv (Cornell University)|Jul 7, 2020

Advanced Neural Network Applications参考文献 41被引用数 29

ひとこと要約

GOLD-NAS は、従来の制約を超えて探索空間を拡張する段階的で1段階の微分可能ニューラルアーキテクチャ探索フレームワークを提案する。リソース制約付きの段階的プルーニングにより、パラメータ最適化されたアーキテクチャの発見が可能である。CIFAR-10（2.99%の誤差、1.58Mパラメータ）およびImageNet（23.9%のトップ-1誤差）において、最小限の探索コストで最先端の精度-効率トレードオフを達成した。

ABSTRACT

There has been a large literature of neural architecture search, but most existing work made use of heuristic rules that largely constrained the search flexibility. In this paper, we first relax these manually designed constraints and enlarge the search space to contain more than $10^{160}$ candidates. In the new space, most existing differentiable search methods can fail dramatically. We then propose a novel algorithm named Gradual One-Level Differentiable Neural Architecture Search (GOLD-NAS) which introduces a variable resource constraint to one-level optimization so that the weak operators are gradually pruned out from the super-network. In standard image classification benchmarks, GOLD-NAS can find a series of Pareto-optimal architectures within a single search procedure. Most of the discovered architectures were never studied before, yet they achieve a nice tradeoff between recognition accuracy and model complexity. We believe the new space and search algorithm can advance the search of differentiable NAS.

研究の動機と目的

• 従来の微分可能NAS手法におけるヒューリスティックな制約が探索空間を制限し柔軟性を低下させる問題を克服すること。
• 1段階NASにおける二段階最適化の不安定性と高い計算コストを、段階的プルーニング機構の導入により解決すること。
• 1回の探索プロセスで複数のハードウェア制約に適合するパラメータ最適化アーキテクチャを発見できること。
• 演算子プルーニングにおける急激な離散化が引き起こす最適化ギャップを低減し、探索の信頼性を向上させること。

提案手法

• 固定セル構造を排除することで、エッジごとの演算子数の可変性とノードごとの入力ファンインの任意性を許容し、10^160以上の候補を含む探索空間を拡張する。
• 二段階最適化の計算負荷を回避するため、重みとアーキテクチャパラメータを同時に最適化する1段階の微分可能最適化を採用する。
• 時間経過とともに増加する動的リソース制約（例：FLOPs）を導入し、弱い演算子の段階的プルーニングを促進する正則化として機能させる。
• 現在のリソース予算に基づき、寄与度が低い演算子を体系的に削除するプログレッシブプルーニング戦略を採用し、離散化誤差を最小限に抑える。
• トレーニング中も完全なスーパーネットを維持し、アーキテクチャ意思決定が微分可能最適化プロセスから自然に導かれるようにする。
• トレーニングエポックに応じて変化する段階的正則化スケジュールを適用し、安定した収束を確保し、急激な性能低下を回避する。

実験結果

リサーチクエスチョン

• RQ1 最小限のヒューリスティック制約で大幅に拡大された探索空間は、より優れた多様なニューラルアーキテクチャの発見を可能にするか？
• RQ2 従来の方法が離散化誤差のため失敗する超大規模な探索空間において、1段階の微分可能NASはどのように安定化できるか？
• RQ3 リソース制約に従って段階的にプルーニングする戦略は、ワンショットプルーニングに比べて精度と耐性に優れるか？
• RQ4 1回の探索プロセスで、さまざまな効率制約に適合するパラメータ最適化のフロントをどの程度発見できるか？
• RQ5 提案手法は、多様なハードウェアと遅延要件を有する実世界の展開シナリオに一般化可能か？

主な発見

• GOLD-NAS は、わずか0.4 GPU日でCIFAR-10においてパラメータ最適化アーキテクチャを発見し、テスト誤差2.99% ± 0.05%、158万パラメータを達成した。
• モバイル設定下のImageNetでは、トップ-1誤差23.9%を達成し、強力な精度-効率トレードオフを示した。
• 本手法は、過去のNAS手法よりもはるかに大きな10^160を超える探索空間を効果的にナビゲートした。
• アーキテクチャ探索の結果、ネットワークの深さに応じてパラメータ化された演算子（例：sep-conv-3x3）の使用が増加しており、ネットワーク全体にわたる柔軟なリソース配分が実現されている。
• ワンショットプルーニングに比べ、段階的プルーニング機構により離散化誤差が顕著に低減され、探索の安定性が向上した。
• 本フレームワークは安定的で高速かつ容易にデプロイ可能であり、コードを公開することで研究および工学分野における広範な採用を支援した。