[論文レビュー] MiLeNAS: Efficient Neural Architecture Search via Mixed-Level Reformulation

Chaoyang He, Haishan Ye+2 more|arXiv (Cornell University)|Mar 27, 2020

Advanced Neural Network Applications参考文献 32被引用数 8

ひとこと要約

MiLeNASは、二段階最適化と単段最適化を組み合わせることで、二段階最適化手法における2次近似に起因する勾配誤差を低減しながら、1次最適化の効率性を維持する、ニューラルアーキテクチャ探索（NAS）のミックスドレベル再定式化を提案する。モデルサイズに基づく探索と早期停止を用いることで、5時間以内にSOTAの精度を達成し、DARTSやGDASを上回る。CIFAR-10では2.51%の誤差、ImageNetではトップ1誤差24.7%を達成し、より高速かつ安定した探索が可能になる。

ABSTRACT

Many recently proposed methods for Neural Architecture Search (NAS) can be formulated as bilevel optimization. For efficient implementation, its solution requires approximations of second-order methods. In this paper, we demonstrate that gradient errors caused by such approximations lead to suboptimality, in the sense that the optimization procedure fails to converge to a (locally) optimal solution. To remedy this, this paper proposes \mldas, a mixed-level reformulation for NAS that can be optimized efficiently and reliably. It is shown that even when using a simple first-order method on the mixed-level formulation, \mldas\ can achieve a lower validation error for NAS problems. Consequently, architectures obtained by our method achieve consistently higher accuracies than those obtained from bilevel optimization. Moreover, \mldas\ proposes a framework beyond DARTS. It is upgraded via model size-based search and early stopping strategies to complete the search process in around 5 hours. Extensive experiments within the convolutional architecture search space validate the effectiveness of our approach.

研究の動機と目的

• 既存手法における二段階最適化の2次近似に起因する勾配誤差を解消すること。
• 単段最適化で一般的に見られる過学習を回避する、より安定的かつ効率的なNASフレームワークの開発。
• 複雑な2次近似に依存せずに、より速い収束と高い精度を実現するニューラルアーキテクチャ探索の実現。
• 探索を加速するとともに設計インサイトを提供する実用的な探索戦略（モデルサイズベース探索と早期停止）の導入。

提案手法

• アーキテクチャ重みαに関してはトレーニング損失とバリデーション損失を同時に最小化するミックスドレベル最適化問題にNASを再定式化。ネットワーク重みwに関してはトレーニング損失を最小化。
• 単段最適化（λ=0）と二段最適化（λ→∞）の間を滑らかに遷移できるように、ハイパーパrameter λを導入。
• 2次近似に起因する勾配誤差を避けるために、ミックスドレベル定式化に対して1次最適化を適用。
• 1セルあたりの畳み込み演算の数を追跡することで、モデルサイズベース探索を実装。これにより、パラメータ複雑度の最適なトレードオフを指向。
• モデルサイズフェーズにおける性能の収束を観察することで、早期停止戦略を適用。これにより、探索時間を約5時間に短縮。
• 異なるiable探索空間とサンプリングベース探索空間の両方をサポートするように、DARTSフレームワークを一般化して拡張。

実験結果

リサーチクエスチョン

• RQ1 ミックスドレベル最適化定式化は、計算効率を維持したまま、NASにおける勾配誤差を低減できるか？
• RQ2 単段最適化と二段最適化の目的関数を組み合わせることで、純粋な二段最適化や単段最適化と比較して、より良い一般化性能と低いバリデーション誤差が達成できるか？
• RQ3 モデルサイズベース探索と早期停止戦略は、精度を損なわずにNASの探索を顕著に加速できるか？
• RQ4 MiLeNASは、サンプリングベースとdifferentiable NASの両方の探索空間において有効に機能するか？

主な発見

• CIFAR-10では、バリデーション誤差2.51% ± 0.11%（最高：2.34%）を達成。DARTS（2.76%）やGDAS（2.82%）を0.2ポイント以上上回る。
• ImageNetでは、トップ1誤差24.7%、トップ5誤差7.6%を達成。二段最適化手法を1〜2ポイント上回る。
• MiLeNASは探索プロセスを約5時間で完了。2次近似を必要とする二段最適化手法の3倍速い。
• モデルサイズベース探索により、350万〜450万パラメータの間で明確な性能プラトーが観察され、それ以上のパラメータ増加は精度向上に寄与しないことが示された。
• 正常セルに6個の畳み込み、縮小セルに0個の畳み込みに達した段階で早期停止が発動し、最終的な精度を損なわず探索を加速した。
• MiLeNASは、differentiable（DARTS）およびサンプリングベース（GDAS）探索空間の両方で優れた結果を示し、汎用性を実証した。