[論文レビュー] Geometry-Aware Gradient Algorithms for Neural Architecture Search

Liam Li, Mikhail Khodak+2 more|arXiv (Cornell University)|Apr 16, 2020

Advanced Neural Network Applications参考文献 46被引用数 5

ひとこと要約

本論文は、ニューラルアーキテクチャ探索（NAS）のための新しい最適化フレームワークである幾何学的留意型指数関数的アルゴリズム（GAEA）を提案する。GAEAは、アーキテクチャパラメータを連続的で単体制約付きの空間内の学習可能な変数として扱う。ミラー降下理論と指数関数的勾配更新を活用することで、CIFAR-10、CIFAR-100、ImageNetベンチマークで高速収束性、スパarsity（スパarsity）、および最先端の精度を達成し、DARTS や GDAS といった先行手法を上回る性能を発揮する。

ABSTRACT

Recent state-of-the-art methods for neural architecture search (NAS) exploit gradient-based optimization by relaxing the problem into continuous optimization over architectures and shared-weights, a noisy process that remains poorly understood. We argue for the study of single-level empirical risk minimization to understand NAS with weight-sharing, reducing the design of NAS methods to devising optimizers and regularizers that can quickly obtain high-quality solutions to this problem. Invoking the theory of mirror descent, we present a geometry-aware framework that exploits the underlying structure of this optimization to return sparse architectural parameters, leading to simple yet novel algorithms that enjoy fast convergence guarantees and achieve state-of-the-art accuracy on the latest NAS benchmarks in computer vision. Notably, we exceed the best published results for both CIFAR and ImageNet on both the DARTS search space and NAS-Bench201; on the latter we achieve near-oracle-optimal performance on CIFAR-10 and CIFAR-100. Together, our theory and experiments demonstrate a principled way to co-design optimizers and continuous relaxations of discrete NAS search spaces.

研究の動機と目的

• 重み共有に依存する勾配ベースのNAS手法に理論的理解の欠如と一般化性能の低さが生じる問題を解消すること。
• 重み共有を用いたNASを、アーキテクチャパラメータをハイパーパrameterではなく学習可能な変数として扱う、1段階の経験的リスク最小化問題として再定式化すること。
• アーキテクチャパラメータ空間の幾何的構造を活用することで、NASにおける最適化性能と一般化性能を向上させること。
• ミラー降下理論を用いて、アーキテクチャ空間の連続的リラクゼーションのもとで勾配ベースのNASに対する有限時間収束保証を確立すること。
• より高い効率性とスパarsityを実現しつつ、現代のNASベンチマークで最先端の精度を達成すること。

提案手法

• アーキテクチャパラメータを確率単体上に再パラメータライズすることで、構造的最適化を可能にする。
• 単体制約付きドメインに特化した指数関数的勾配更新（ミラー降下の一種）を用い、高速収束性とスパarsityを確保する。
• アーキテクチャ意思決定を学習可能なパラメータとして含む構造的関数クラス上の1段階の経験的リスク最小化問題としてNASを定式化する。
• NASの連続的リラクゼーションにブロック確率的ミラー降下を適用し、定常点への多項式時間収束を証明する。
• DARTS や GDAS といった既存の1次最適化NAS手法に、最小限の変更でGAEAフレームワークを統合する。
• 離散的アーキテクチャ探索空間の連続的リラクゼーションを採用することで、勾配ベース最適化を可能にしつつ、アーキテクチャ空間の構造的性質を保持する。

実験結果

リサーチクエスチョン

• RQ1 重み共有を用いたNASを、構造的関数クラス上の1段階最適化問題として意味的に再定式化できるか？
• RQ2 幾何学的留意型最適化手法は、微分可能NASにおける収束性と一般化性能をどのように向上させることができるか？
• RQ3 アーキテクチャ空間の連続的リラクゼーションのもとで、勾配ベースのNASに対してどのような理論的収束保証を確立できるか？
• RQ4 単体上での指数関数的勾配更新は、よりスパースで解釈性が高く、性能の優れたアーキテクチャを生成できるか？
• RQ5 提案されたフレームワークは、NAS-Bench-201 や DARTS 探索空間といった現代のベンチマークで、既存の最先端NAS手法を上回る性能を発揮するか？

主な発見

• GAEAは、NAS-Bench-201ベンチマークにおいてCIFAR-10で94.10% ± 0.29の新記録を達成し、前回の最高記録を0.18%上回った。
• CIFAR-100では73.43% ± 0.13の精度を達成し、前回の最高記録を1.59%上回った。
• ImageNet-16-120では46.36% ± 0.00の精度を達成し、前回の最高記録を0.82%上回った。
• GAEA DARTS（ERM）はCIFAR-10で94.10% ± 0.29の精度を達成し、バイレベルDARTSベースラインを大きく上回った。
• GAEAはNAS-Bench-201でほぼオラクル最適に近い性能を示し、CIFAR-100で73.43%、ImageNet-16-120で46.36%の精度を達成した。
• 理論的分析により、ブロック確率的ミラー降下の多項式時間定常点収束性が確立され、勾配ベースのNASに対する初めての有限時間収束保証が得られた。