[論文レビュー] Angle-based Search Space Shrinking for Neural Architecture Search

Yiming Hu, Yuding Liang+6 more|arXiv (Cornell University)|Apr 28, 2020

Advanced Neural Network Applications参考文献 36被引用数 16

ひとこと要約

本稿では、モデル重みとその初期化との間の角度に基づく新しい指標を用いて、段階的に劣悪な演算を除外することで、Neural Architecture Search (NAS) を一般的かつ効率的に向上させる、Angle-Based Search Space Shrinking (ABS) を提案する。この指標は、重み共有スーパーネットにおける子アーキテクチャの順序付けをより高速かつ安定に行うことができ、CIFAR-10 および ImageNet において複数の NAS 方法で顕著な精度向上を達成するが、アーキテクチャの変更は不要である。

ABSTRACT

In this work, we present a simple and general search space shrinking method, called Angle-Based search space Shrinking (ABS), for Neural Architecture Search (NAS). Our approach progressively simplifies the original search space by dropping unpromising candidates, thus can reduce difficulties for existing NAS methods to find superior architectures. In particular, we propose an angle-based metric to guide the shrinking process. We provide comprehensive evidences showing that, in weight-sharing supernet, the proposed metric is more stable and accurate than accuracy-based and magnitude-based metrics to predict the capability of child models. We also show that the angle-based metric can converge fast while training supernet, enabling us to get promising shrunk search spaces efficiently. ABS can easily apply to most of NAS approaches (e.g. SPOS, FairNAS, ProxylessNAS, DARTS and PDARTS). Comprehensive experiments show that ABS can dramatically enhance existing NAS approaches by providing a promising shrunk search space.

研究の動機と目的

• 大規模なニューラルアーキテクチャ探索空間における高い計算コストと最適化の難しさに対処すること。
• 探索空間を動的に縮小することで、既存の NAS 方法の性能を向上させ、高い可能性を秘めたアーキテクチャに焦点を当てる。
• アルゴリズムの再実装を必要とせず、さまざまな NAS アルゴリズムを効果的に向上させる汎用的でプラグイン互換性のある手法を開発すること。
• 精度ベースやマグニチュードベースの指標よりも安定性、収束速度、子モデルの能力予測精度において優れる、新しい角度ベースの指標を導入・検証すること。

提案手法

• 最終モデルの重みベクトルとその初期重みベクトルの間のコサイン角を計算する角度ベースの指標を提案し、モデルの能力を評価する。
• この指標を用いて、スーパーネットの初期学習段階で有望でない演算を順次除外する。
• 候補演算に対して均一にサンプリングしながらスーパーネットを学習し、その後角度ベースの指標を適用して低順位の演算子を同定・削除する。
• 探索空間が十分に縮小されるまで、複数段階にわたりこのプリーニング処理を繰り返し、高品質なアーキテクチャを維持する。
• SPOS、FairNAS、ProxylessNAS、DARTS、PDARTS などの既存の NAS フレームワークに、縮小された探索空間をプラグインとして統合する。
• すべての NAS 方法に対して同一の学習および評価プロトコルを適用し、公平な比較と一貫した性能向上を確保する。

実験結果

リサーチクエスチョン

• RQ1 精度ベースやマグニチュードベースの指標よりもより安定的で効率的な指標が、重み共有 NAS における探索空間の縮小を効果的に導けるか？
• RQ2 このような指標を用いて探索空間を動的に縮小することで、多様な NAS アルゴリズムにわたって一貫した性能向上が達成できるか？
• RQ3 スーパーネット学習中に、角度ベースの指標はどの程度速くかつ信頼性高く収束するか？
• RQ4 結果として得られる縮小された探索空間は、アルゴリズムの再トレーニングなしに、さまざまな NAS 方法に普遍的に有益であるか？
• RQ5 直接的に指標を用いて探索を行う場合と比較して、角度ベースの指標は最終モデルの精度をどの程度向上させるか？

主な発見

• MobileNetに類似した探索空間において、ABS を用いることで SPOS はトップ-1精度を 0.64% 向上させたが、角度指標を直接用いる場合ではわずか 0.19% の向上にとどまった。
• CIFAR-10 において、ABS を用いた DARTS は ImageNet で 75.59% のトップ-1精度を達成し、元の DARTS（73.39%）に対して 2.2% の向上、元の DARTS 論文で報告された結果よりも 0.71% の向上を示した。
• ABS を用いた PDARTS は ImageNet で 75.89% のトップ-1精度を達成し、元の PDARTS（75.02%）に対して 0.87% の向上、報告結果よりも 0.31% の向上を示した。
• 角度ベースの指標は、精度ベースやマグニチュードベースの指標よりも収束が早く、初期学習段階で効果的なプリーニングを可能にする。
• ABS が生成する縮小された探索空間は汎用的であり、ワンショットおよび勾配ベースの両方の方法を含む、多数の NAS アルゴリズムの性能を向上させる。
• FLOPs に制約がかかる状況でも、ABS で縮小された空間内で探索されたモデルは、元の空間で探索されたモデルを上回る性能を示し、強靭性とスケーラビリティを示した。