[論文レビュー] RC-DARTS: Resource Constrained Differentiable Architecture Search

Xiaojie Jin, Jiang Wang+5 more|arXiv (Cornell University)|Dec 30, 2019

Advanced Neural Network Applications参考文献 38被引用数 25

ひとこと要約

RC-DARTS は、ユーザーが定義したリソース制約（例：FLOPs やモデルサイズ）の下でニューラルアーキテクチャを最適化する微分可能アーキテクチャ探索フレームワークを提案する。反復的射影法を用いて制約付き最適化問題を解くことで、CIFAR-10 および ImageNet において、従来の NAS 法や手作業で設計された軽量ネットワークを上回る効率性と精度のトレードオフを達成する。

ABSTRACT

Recent advances show that Neural Architectural Search (NAS) method is able to find state-of-the-art image classification deep architectures. In this paper, we consider the one-shot NAS problem for resource constrained applications. This problem is of great interest because it is critical to choose different architectures according to task complexity when the resource is constrained. Previous techniques are either too slow for one-shot learning or does not take the resource constraint into consideration. In this paper, we propose the resource constrained differentiable architecture search (RC-DARTS) method to learn architectures that are significantly smaller and faster while achieving comparable accuracy. Specifically, we propose to formulate the RC-DARTS task as a constrained optimization problem by adding the resource constraint. An iterative projection method is proposed to solve the given constrained optimization problem. We also propose a multi-level search strategy to enable layers at different depths to adaptively learn different types of neural architectures. Through extensive experiments on the Cifar10 and ImageNet datasets, we show that the RC-DARTS method learns lightweight neural architectures which have smaller model size and lower computational complexity while achieving comparable or better performances than the state-of-the-art methods.

研究の動機と目的

• 既存のワンショット NAS 法における非効率性とリソース認識の欠如、特にブラックボックス最適化に依存する手法の問題を解決すること。
• 精度とユーザーが定義したリソース制限（例：FLOPs、モデルサイズ）のバランスをとる制約付き最適化問題としてニューラルアーキテクチャ探索を定式化すること。
• リソース制約を尊重しながら勾配ベース最適化を用いたエンドツーエンドのワンショット学習フレームワークを構築すること。
• ネットワークの深さに応じてアーキテクチャ選択を適応させるマルチレベル探索戦略を導入し、検索効率とアーキテクチャの質を向上させること。
• 自動的に探索されたアーキテクチャが、精度と効率のトレードオフにおいて、手作業で設計された軽量モデルを上回ることを示すこと。

提案手法

• 標準の DARTS 目的関数にリソース制約（例：FLOPs、モデルサイズ）を追加することで、NAS 問題を制約付き最適化タスクとして定式化する。
• トレーニング中にリソース制約を強制するために反復的射影アルゴリズムを導入し、各最適化ステップでアーキテクチャパラメータを制約によって定義される実行可能集合に射影する。
• 異なる深さのレイヤーが異なるアーキテクチャ的演算を学習できるようにするマルチレベル探索戦略を提案し、モデルサイズと FLOPs への寄与度の違いを反映する。
• ネットワーク全体にわたりより優れたパラメータ最適化トレードオフを実現できるように、隣接するセル間の新しい接続セルを設計する。
• 離散的なリソースコストを連続的リラクゼーションすることで、制約付き最適化問題を微分可能にし、勾配降下法による解法を可能にする。
• 標準的な誤差逆伝播法を用いてアーキテクチャと重みを同時に学習させ、高い効率性を実現するワンショットアーキテクチャ探索を可能にする。

実験結果

リサーチクエスチョン

• RQ1 FLOPs やモデルサイズといった明示的なリソース制約を、微分可能なアーキテクチャ探索に効果的に拡張できるか？
• RQ2 微分可能性を損なわずに、勾配ベース最適化フレームワークにリソース制約を統合する方法は何か？
• RQ3 ネットワークの深さに応じてアーキテクチャ選択を適応させるマルチレベル探索戦略は、精度と効率のトレードオフを改善できるか？
• RQ4 提案された反復的射影法は、リソース制約を効果的に強制しながらも、高い検証精度を維持できるか？
• RQ5 自動的に探索されたアーキテクチャは、精度、サイズ、計算コストの観点から、手作業で設計された軽量モデルおよび制約なしの NAS 法を上回ることができるか？

主な発見

• RC-DARTS は、CIFAR-10 および ImageNet において、精度、モデルサイズ、FLOPs の観点で SOTA のパフォーマンスを達成し、既存の NAS 法および手作業で設計されたモデルを上回る。
• 本手法は、ベースラインモデルよりも著しく小さく、高速な軽量アーキテクチャを学習し、精度を維持または向上させる。
• 反復的射影アルゴリズムは、トレーニング中にリソース制約を効果的に強制し、実行可能で高性能なアーキテクチャへの収束を可能にする。
• マルチレベル探索戦略により、深層部ではより複雑な演算を、浅層部ではより単純な演算を採用できるようになり、全体の効率性が向上する。
• 新しい接続セルの設計により、ネットワーク全体にわたりより優れたパラメータ最適化アーキテクチャが実現され、精度と複雑さのトレードオフが改善される。
• 特に厳しいリソース制限下でも、ブラックボックス NAS や制約なしの微分可能探索（例：DARTS）に比べ、RC-DARTS は優れた検索効率とアーキテクチャ品質を示す。