[論文レビュー] Evolving Search Space for Neural Architecture Search

Yuanzheng Ci, Lin Chen+4 more|arXiv (Cornell University)|Nov 22, 2020

Advanced Neural Network Applications参考文献 63被引用数 6

ひとこと要約

この論文では、逐次的に探索するサブセットと未探索の演算子による再充填を繰り返すことで、段階的に探索空間を進化させる新しいナスフレームワークであるNeural Search-space Evolution（NSE）を提案する。Pareto最適な探索空間を維持し、継続的知識保持を可能にすることで、知識蒸留やプルーニングを用いないナス生成モデルとして、333M FLOPsでImageNetで77.3%のトップ1精度を達成し、最先端水準に到達した。また、遅延制約下でもモバイルモデルを上回る性能を示した。

ABSTRACT

The automation of neural architecture design has been a coveted alternative to human experts. Recent works have small search space, which is easier to optimize but has a limited upper bound of the optimal solution. Extra human design is needed for those methods to propose a more suitable space with respect to the specific task and algorithm capacity. To further enhance the degree of automation for neural architecture search, we present a Neural Search-space Evolution (NSE) scheme that iteratively amplifies the results from the previous effort by maintaining an optimized search space subset. This design minimizes the necessity of a well-designed search space. We further extend the flexibility of obtainable architectures by introducing a learnable multi-branch setting. By employing the proposed method, a consistent performance gain is achieved during a progressive search over upcoming search spaces. We achieve 77.3% top-1 retrain accuracy on ImageNet with 333M FLOPs, which yielded a state-of-the-art performance among previous auto-generated architectures that do not involve knowledge distillation or weight pruning. When the latency constraint is adopted, our result also performs better than the previous best-performing mobile models with a 77.9% Top-1 retrain accuracy.

研究の動機と目的

• 既存のナス手法が大規模な探索空間で反直観的な失敗を示す理由、すなわち探索空間を拡大しても性能が低下する事象を解消すること。
• 熟練したエキスパートが設計した制限付き探索空間に依存する必要をなくし、大規模な演算子プールの自動的かつスケーラブルな探索を可能にすること。
• 継続的学習フレームワークを構築し、探索イテレーションを経ても知識を保持しながら、段階的に探索空間を拡張すること。
• より高いアーキテクチャの柔軟性と性能を実現するため、マルチブランチアーキテクチャへの拡張を図ること。
• 探索空間設計における人為的介入を最小限に抑え、完全に自動化されたニューラルアーキテクチャ探索へと進化させること。

提案手法

• NSEは、大規模な探索空間からランダムに選ばれた小さな演算子サブセットから開始し、このサブセット上でアーキテクチャ探索を実行する。
• 各探索イテレーションの後、未探索の演算子を大規模なプールからサブセットに再充填することで、段階的な探索を実現する。
• 各イテレーションで得られたPareto最適なアーキテクチャを統合し、次回のラウンドに向けた知識伝達型探索空間を構築する。
• 「ロックして再学習」（Lock and Rehearse）戦略により、進化過程での探索空間の安定化を図り、性能の低下を防ぐ。
• アーキテクチャの多様性と表現力の向上を目的に、学習可能なマルチブランチ設定を統合する。
• ワンショットナスを用いたスーパーネット訓練により、進化する探索空間サブセット全体で効率的なアーキテクチャ評価を実現する。

実験結果

リサーチクエスチョン

• RQ1 大規模な探索空間を拡大しても性能が向上すると予想されるにもかかわらず、なぜ既存のナス手法がその恩恵を受けることができないのか？
• RQ2 段階的に拡大する演算子プールを探索しながら、性能の向上を維持できるように探索空間を進化させることは可能か？
• RQ3 過去の探索イテレーションから得た知識を、その後の探索フェーズでどのように保存・活用できるか？
• RQ4 探索空間の進化が、発見されたアーキテクチャの品質と多様性に与える影響は何か？
• RQ5 提案手法は、知識蒸留や重みプルーニングを用いない状態で、最先端のナス手法を上回ることができるか？

主な発見

• NSEは、知識蒸留やプルーニングを用いないナス生成モデルとして、333M FLOPsでImageNetで77.3%のトップ1再訓練精度を達成し、新たな最先端水準を樹立した。
• 遅延制約下では、NSEは77.9%のトップ1精度を達成し、以前の最高性能を示したモバイルモデルを上回った。
• 本手法は連続的な収束を示しており、最良のアーキテクチャおよび統合された探索空間の両方が、進化ラウンドを経るごとに改善した。
• 初期探索空間サブセットを小さくする（例：K=5）ことで、より良い収束が得られ、これは段階的探索戦略の有効性を裏付けた。
• 「ロックして再学習」戦略は不可欠であり、これを除去すると顕著な性能低下が生じ、知識伝達の安定化におけるその役割を確認した。
• 探索空間の簡略化と集約は、探索空間の品質を顕著に向上させ、集約された空間が、元の空間および簡略化されたバージョンを上回った。