[論文レビュー] XNAS: Neural Architecture Search with Expert Advice

Niv Nayman, Asaf Noy+4 more|arXiv (Cornell University)|Jun 19, 2019

Advanced Bandit Algorithms Research参考文献 55被引用数 23

ひとこと要約

XNASは、予測の専門家アドバイス（PEA）理論にインspiredされた、微分可能なニューラルアーキテクチャ探索（NAS）手法を提案する。Exponentiated-Gradientベースの最適化手法を用い、動的プルーニングと適応的学習率を組み合わせることで、アーキテクチャ選択におけるレグレットを最小化する。本手法は最先端の性能を達成し、モバイル設定下でCIFAR-10で1.60%の誤差、ImageNetで24%のトップ-1誤差を達成した。これは、従来手法よりもより深く、複雑なセルアーキテクチャを採用している。

ABSTRACT

This paper introduces a novel optimization method for differential neural architecture search, based on the theory of prediction with expert advice. Its optimization criterion is well fitted for an architecture-selection, i.e., it minimizes the regret incurred by a sub-optimal selection of operations. Unlike previous search relaxations, that require hard pruning of architectures, our method is designed to dynamically wipe out inferior architectures and enhance superior ones. It achieves an optimal worst-case regret bound and suggests the use of multiple learning-rates, based on the amount of information carried by the backward gradients. Experiments show that our algorithm achieves a strong performance over several image classification datasets. Specifically, it obtains an error rate of 1.6% for CIFAR-10, 24% for ImageNet under mobile settings, and achieves state-of-the-art results on three additional datasets.

研究の動機と目的

• 既存のNAS手法の限界、すなわち理論的根拠の不足、非最適なハードプルーニング、過剰なハイパーパrameterチューニングを解消すること。
• 操作選択におけるレグレットを最小化する、原理的かつ整合性のある最適化フレームワークを異なる微分可能なアーキテクチャ探索に開発すること。
• 劣悪なアーキテクチャの動的プルーニングと、Wipeoutメカニズムによる後から顕在化する可能性のある専門家の回復を可能にすること。
• 理論的保証に基づいて学習率スケジュールを導出することで、手動によるハイパーパrameterチューニングへの依存を低減すること。

提案手法

• 各操作／接続を専門家とみなす、分離可能な予測と専門家アドバイス（PEA）サブスペースとしてNASの探索空間を定式化する。
• アーキテクチャ重みの最適化に指数型勾配（EG）アルゴリズムを適用し、スパarsityを促進するとともに、低性能な専門家の動的プルーニングを可能にする。
• 訓練中に劣悪な専門家を削除し、後に再び有効な可能性があるものを回復できるWipeoutメカニズムを導入する。
• 勾配情報に基づいて専門家グループごとに複数の学習率を用い、理論的レグレットバウンドに従って制御する。
• 任意のアーキテクチャ選択を防ぐために、非減衰型アーキテクチャ重み更新ルールを活用する。
• 初期化に強く、後から顕在化する操作の回復を支援する報酬ベースの目的関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 PEAに基づく理論的根拠に基づく最適化手法は、微分可能なNASのロバストネスと性能を向上させることができるか？
• RQ2 一度きりのハードプルーニングに依存せずに、ニューラルアーキテクチャコンポonentsの動的プルーニングと回復をどのように達成できるか？
• RQ3 理論的レグレットバウンドから導出された適応的学習率は、より良いアーキテクチャ探索性能とハイパーパrameter感受性の低減をもたらすか？
• RQ4 学習されたアーキテクチャの深さと複雑さは、ベンチマークデータセットにおける精度向上にどの程度寄与するか？
• RQ5 本手法は、多様なデータセットで最先端の結果を達成しつつ、理論的保証を維持できるか？

主な発見

• XNASはCIFAR-10でトップ-1誤差1.60%を達成し、従来のNAS手法と比較して20%以上の改善を示した。
• モバイル設定下のImageNetでは、XNASはトップ-1誤差24%を達成し、大規模ベンチマークでも優れた性能を示した。
• 評価された7つのデータセットのうち3つでSOTA性能を達成し、残りの4つでもトップ-NAS手法の一つにランクされた。
• XNASで学習された通常セルの平均接続深さは1.375であり、他のNAS手法と比較して顕著に深いことから、より高いアーキテクチャの複雑さと表現力を持つことが示唆された。
• 非減衰型重み更新ルールと適応的学習率のおかげで、初期化に強く、後から顕在化する専門家の回復が可能であることが実証された。
• アルゴリズムは最悪ケースのレグレットバウンドを最適化し、アーキテクチャ選択戦略に強い理論的根拠を提供した。