[論文レビュー] On Redundancy and Diversity in Cell-based Neural Architecture Search

Xingchen Wan, Binxin Ru+2 more|arXiv (Cornell University)|Mar 16, 2022

Advanced Memory and Neural Computing被引用数 7

ひとこと要約

この論文は、細胞ベースのニューラルアーキテクチャサーチ（NAS）の探索空間について後向きに分析を行い、複雑な探索空間にもかかわらず、アーキテクチャに高い再帰性と限定的な多様性が存在することを明らかにした。性能は、しばしば古典的な設計に類似した単純で繰り返し現れるパターンに強く依存しており、多くの設計選択は機能的に無関係であることが判明した。これらのパターンに制限を加えた場合、ランダムに抽出されたアーキテクチャがSOTA性能を達成または上回ることが可能であり、これは現在のNAS探索空間の有効性に疑問を呈するとともに、より危しい、より原理的であるべき探索空間設計の必要性を示唆している。

ABSTRACT

Searching for the architecture cells is a dominant paradigm in NAS. However, little attention has been devoted to the analysis of the cell-based search spaces even though it is highly important for the continual development of NAS. In this work, we conduct an empirical post-hoc analysis of architectures from the popular cell-based search spaces and find that the existing search spaces contain a high degree of redundancy: the architecture performance is minimally sensitive to changes at large parts of the cells, and universally adopted designs, like the explicit search for a reduction cell, significantly increase the complexities but have very limited impact on the performance. Across architectures found by a diverse set of search strategies, we consistently find that the parts of the cells that do matter for architecture performance often follow similar and simple patterns. By explicitly constraining cells to include these patterns, randomly sampled architectures can match or even outperform the state of the art. These findings cast doubts into our ability to discover truly novel architectures in the existing cell-based search spaces, and inspire our suggestions for improvement to guide future NAS research. Code is available at https://github.com/xingchenwan/cell-based-NAS-analysis.

研究の動機と目的

• 主に細胞ベースのNAS探索空間で得られたアーキテクチャの背後にある構造的特徴と機能的多様性を調査すること。
• 例えば明示的なリダクションセルのような、広く採用されているNASの設計パターンが性能向上に寄与しているのか、それとも単に複雑性を増しているにとどまるのかを評価すること。
• 多様な探索手法によって発見された高性能なアーキテクチャが、共通の単純な構造的パターンを共有しているかどうかを特定すること。
• これらのコアパターンに制限を加えたランダムアーキテクチャが、SOTA性能を達成または上回ることができるかどうかを評価すること。
• 現在の探索空間設計の欠陥を特定し、改善策を提案することで、将来的なNAS研究を導くこと。

提案手法

• 説明可能なAIツールを用いて、DARTSの細胞ベース探索空間で学習された多様なNAS手法からのアーキテクチャに対して後向き分析を実施し、特徴量の重要度を検査した。
• 数千ものアーキテクチャを網羅的に評価できるように、NB301予測器などの代替モデルを活用し、大規模な実証的分析を可能にした。
• モデルに依存しない解釈技術を用いて、性能に最も影響を与えるアーキテクチャ的要素を同定した。
• アブレーションスタディを用いて、性能への影響を測定することで、不要な演算や接続を体系的に削除した。
• 同定された高性能をもたらす主要パターンに制約を加えた上で、ランダムに抽出されたアーキテクチャの性能を評価した。
• 最小限の代替モデル（200アーキテクチャ程度で学習）を用いて、費用対効果の高い分析が可能であることを実証した。

実験結果

リサーチクエスチョン

• RQ1 多様な探索アルゴリズムによって発見された細胞ベースのNASにおける高性能アーキテクチャは、多様な探索戦略にもかかわらず、共通の構造的パターンをどれほど共有しているか？
• RQ2 例えば分離されたリダクションセルのような、広く採用されている設計選択は、性能向上にどれほど寄与しているのか、それとも単に探索空間の複雑性を増しているにとどまるのか？
• RQ3 最も影響力のある構造的パターンに制限を加えたランダムアーキテクチャは、SOTA NAS手法と同等またはそれ以上の性能を達成できるか？
• RQ4 探索空間の名目上の複雑さは、高性能アーキテクチャの実際の機能的多様性をどれほど反映しているか？
• RQ5 単純化された、パターンに制限を加えた探索空間は、現在の複雑で手作業で設計された探索空間を、性能と効率の両面で上回ることができるか？

主な発見

• 細胞ベースのアーキテクチャの性能は、単純で繰り返し現れる構造的パターンに強く依存しており、それらは古典的なCNN設計に類似している。
• 多くの一般的に使われる設計要素（例えば明示的なリダクションセル）は、機能的に冗長であり、性能向上にほとんど寄与しないが、探索空間の複雑さを著しく増加させている。
• 多様な探索戦略にもかかわらず、高性能アーキテクチャは驚くほど類似した機能的構造を持つことが判明し、探索空間内の実効的多様性が低いことが示された。
• 主な性能をもたらすパターンに制限を加えたランダムに抽出されたアーキテクチャは、CIFAR-10およびImageNetにおいて、複数のネットワーク幅と深さにおいてSOTA NAS手法と同等またはそれ以上のテスト精度を達成した。
• 代替モデルを用いた分析は、200アーキテクチャ程度で効果的に実施可能であり、探索空間の評価が費用対効果的に可能であることが示唆された。
• 現在の標準的な細胞ベースの探索空間は、設計面で根本的に欠陥を抱えており、機能的多様性よりも複雑さを重視しており、結果としてNASが既存の手作業で設計されたネットワークに類似したアーキテクチャに偏る可能性がある。