[論文レビュー] Differentiable Neural Architecture Search via Proximal Iterations.

Quanming Yao, Ju Xu+2 more|arXiv (Cornell University)|May 30, 2019

Advanced Neural Network Applications参考文献 38被引用数 7

ひとこと要約

本稿では、操作更新におけるスパarsityを強制するために近接反復を用いる微分可能ニューラルアーキテクチャ探索手法NASPを提案する。1回の反復で1つの操作のみを更新することで、DARTSと比較して10倍の高速化を達成しながら、複数のベンチマークで同等または優れたアーキテクチャ性能を維持する。

ABSTRACT

Neural architecture search (NAS) recently attracts much research attention because of its ability to identify better architectures than handcrafted ones. However, many NAS methods, which optimize the search process in a discrete search space, need many GPU days for convergence. Recently, DARTS, which constructs a differentiable search space and then optimizes it by gradient descent, can obtain high-performance architecture and reduces the search time to several days. However, DARTS is still slow as it updates an ensemble of all operations and keeps only one after convergence. Besides, DARTS can converge to inferior architectures due to the strong correlation among operations. In this paper, we propose a new differentiable Neural Architecture Search method based on Proximal gradient descent (denoted as NASP). Different from DARTS, NASP reformulates the search process as an optimization problem with a constraint that only one operation is allowed to be updated during forward and backward propagation. Since the constraint is hard to deal with, we propose a new algorithm inspired by proximal iterations to solve it. Experiments on various tasks demonstrate that NASP can obtain high-performance architectures with 10 times of speedup on the computational time than DARTS.

研究の動機と目的

• 既存のニューラルアーキテクチャ探索（NAS）手法の高い計算コストを低減すること、特に離散的探索空間に依存する手法を対象とする。
• DARTSの収束が遅い問題を克服すること。DARTSはすべての操作を同時に更新し、収束後に1つだけを保持する。
• DARTSが操作間の強い相関性のため、最適でないアーキテクチャに収束する問題を軽減すること。
• 操作更新におけるスパarsityを強制する微分可能な探索手法を開発し、訓練効率とアーキテクチャ品質の両方を向上させること。

提案手法

• 1回のフォワードおよびバックワードパスで1つの操作のみを更新するという硬い制約を課すことで、NASの探索プロセスを制約付き最適化問題に再定式化する。
• 1操作のみの更新を扱うために、近接反復にインspiredした新しいアルゴリズムを導入し、微分可能な最適化を可能にする。
• 近接勾配降下法を用いて、アーキテクチャパラメータにおけるスパarsityを維持しながら、1つの操作を段階的に更新する。
• 複数の操作の共適応を防ぐ構造的制約を課しながらも、探索空間の微分可能性を維持する。
• アーキテクチャパラメータが勾配降下法で最適化可能な微分可能な探索空間を設計し、硬いスパarsity制約を適用する。
• 近接作用素を活用して、1回の反復で1つのアクティブな操作のみを保証する実行可能集合へ更新方向を投影する。

実験結果

リサーチクエスチョン

• RQ1 微分可能なNASにおいて、操作更新のスパarsityを強制することで、アーキテクチャ性能を損なわず収束速度を向上させることができるか？
• RQ2 提案手法の近接反復に基づく最適化戦略は、標準的な勾配降下法と比較して収束速度と最終精度の面でどのように異なるか？
• RQ3 1操作更新制約は、NASにおける操作相関性に起因する悪影響をどの程度軽減するか？
• RQ4 提案手法は、著しく低い計算コストでDARTSと同等または優れた性能を達成できるか？

主な発見

• NASPは、複数のベンチマークタスクにおいてDARTSと比較して計算時間で10倍の高速化を達成する。
• CIFAR-10、CIFAR-100、ImageNet-1Kを含む標準的なNASベンチマークで、性能を維持または向上させる。
• 近接反復によるスパarsityの強制により、DARTSに見られる相関性に起因する収束問題が軽減される。
• 1操作更新制約により、アーキテクチャ探索中の最適化ダイナミクスがより安定的かつ効率的になる。
• より制限された更新メカニズムであるにもかかわらず、NASPはDARTSよりも高速に高性能なアーキテクチャに収束する。
• 提案手法は、最終的なモデル精度に影響を与えることなく、探索効率に一貫した改善を示す。