[論文レビュー] MixPath: A Unified Approach for One-shot Neural Architecture Search

Xiangxiang Chu, Lu, Shun+2 more|arXiv (Cornell University)|Jan 16, 2020

Advanced Neural Network Applications参考文献 47被引用数 15

ひとこと要約

MixPathは、supernet学習の安定性とモデルランク付け性能を向上させるために、新たなシャドウバッチ正則化（SBN）機構を用いた統合的ワンショットニューラルアーキテクチャサーチ（NAS）フレームワークを提案する。パス固有のバッチ統計をモデル化し、SBNの数をm（許可されたパス数）に制限することで、10 GPU日で最先端のImageNet精度を達成し、200倍以上の計算資源を要する他のモデルを上回る性能を発揮する。

ABSTRACT

Blending multiple convolutional kernels is proved advantageous in neural architecture design. However, current two-stage neural architecture search methods are mainly limited to single-path search spaces. How to efficiently search models of multi-path structures remains a difficult problem. In this paper, we are motivated to train a one-shot multi-path supernet to accurately evaluate the candidate architectures. Specifically, we discover that in the studied search spaces, feature vectors summed from multiple paths are nearly multiples of those from a single path. Such disparity perturbs the supernet training and its ranking ability. Therefore, we propose a novel mechanism called Shadow Batch Normalization (SBN) to regularize the disparate feature statistics. Extensive experiments prove that SBNs are capable of stabilizing the optimization and improving ranking performance. We call our unified multi-path one-shot approach as MixPath, which generates a series of models that achieve state-of-the-art results on ImageNet.

研究の動機と目的

• ワンショットマルチパスsupernetアーキテクチャの学習における不安定性と劣悪なランク付け性能を解消すること。
• 多様なマルチパス探索空間において、効果的かつ効率的なニューラルアーキテクチャサーチを可能にすること。
• supernet学習中の動的パスコンビネーションに適応可能な、軽量かつ効果的な正則化機構の開発。
• 単一パスとマルチパスNASを統一したフレームワークに統合し、単一パス手法を特別なケースとして含めること。

提案手法

• 各アクティブパス数（例：1パス用SBN₁、2パス用SBN₂）ごとに別々のBN統計を適用する、シャドウバッチ正則化（SBN）を導入。これは、単一の共有BNではなく、パスに依存した統計を用いる。
• 複数パスからの特徴ベクトルを、単一パス特徴のほぼ倍数としてモデル化することで、指数的組み合わせではなくm個の成分でのみパrameter化可能なSBNを実現。
• 異なるパスコンビネーションにおける多様な特徴統計を捉えることで、サンプリング時の分布シフトを低減し、学習を安定化。
• supernetの予測をスタンドアロンモデルの性能と一致させるために、BN後処理のキャリブレーションを適用し、ランク付けの正確性を向上。
• 重み共有を組み合わせたワンショットsupernet学習パイプラインにSBNを統合し、サブネットワークの高速評価を可能に。
• FLOPsと精度の制約下でPareto最適なアーキテクチャ探索を実現するため、NSGA-IIを適用。

実験結果

リサーチクエスチョン

• RQ1 なぜヴァニラなマルチパスsupernet学習は、サブネットワークの安定的かつ正確なランク付けを達成できないのか？
• RQ2 どのようにすれば、異なるパスコンビネーションを持つ多様なマルチパスアーキテクチャの性能を、1つのsupernetが効果的かつ安定的に表現できるか？
• RQ3 パスコンビネーション間の特徴類似性を活用することで、許可されたパス数に比例する線形数のSBNに、指数的数のSBNを削減できるか？
• RQ4 マルチパスNASの文脈において、SBNはスイッチ可能なBNなどの既存のバッチ正則化変種と比較してどのように優れているか？
• RQ5 SBNはワンショットNASにおけるランク付け性能と一般化性能をどの程度向上させるか？

主な発見

• MixPathはNAS-Bench-101のサブセットでKendall tau 0.597を達成し、先行するワンショット手法と比較して優れたランク付け性能を示した。
• SBNを有効化した場合、MixPathは500M FLOPS未満でImageNetで97.44%のトップ1精度を達成し、SBNなしの97.12%を上回った。
• 本手法はわずか10 GPU日でSOTAのImageNet性能を達成し、200倍以上の計算リソースを要するMixNetモデルと同等の性能を発揮した。
• SBNにより、必要なバッチ正則化層の数を指数的からm（許可されたパス数）に削減でき、実用的導入が可能になった。
• BN後処理キャリブレーションにより、supernetとスタンドアロンモデルの性能ギャップが効果的に埋められ、ランク付けの信頼性が向上した。
• S₃探索空間において、NSGA-IIはランダムサーチに比べ、Paretoフロント上で高い精度と低いFLOPsを持つモデルを効率的に発見した。