[論文レビュー] GreedyNAS: Towards Fast One-Shot NAS with Greedy Supernet

Shan You, Tao Huang+4 more|arXiv (Cornell University)|Mar 25, 2020

Advanced Neural Network Applications参考文献 43被引用数 12

ひとこと要約

GreedyNASは、拒否ベースのマルチパスサンプリングと動的キャッシュプールを用いて、弱いパスを除外し、有望なパスに集中することで、スーパーネット学習を高速化する高速ワンショットニューラルアーキテクチャサーチ手法を提案する。弱いパスをフィルタリングし、高性能なパスを活用することで、従来手法の約60%のスーパーネット学習コストでImageNetにおいて最先端の精度を達成する。

ABSTRACT

Training a supernet matters for one-shot neural architecture search (NAS) methods since it serves as a basic performance estimator for different architectures (paths). Current methods mainly hold the assumption that a supernet should give a reasonable ranking over all paths. They thus treat all paths equally, and spare much effort to train paths. However, it is harsh for a single supernet to evaluate accurately on such a huge-scale search space (e.g., $7^{21}$). In this paper, instead of covering all paths, we ease the burden of supernet by encouraging it to focus more on evaluation of those potentially-good ones, which are identified using a surrogate portion of validation data. Concretely, during training, we propose a multi-path sampling strategy with rejection, and greedily filter the weak paths. The training efficiency is thus boosted since the training space has been greedily shrunk from all paths to those potentially-good ones. Moreover, we further adopt an exploration and exploitation policy by introducing an empirical candidate path pool. Our proposed method GreedyNAS is easy-to-follow, and experimental results on ImageNet dataset indicate that it can achieve better Top-1 accuracy under same search space and FLOPs or latency level, but with only $\sim$60\% of supernet training cost. By searching on a larger space, our GreedyNAS can also obtain new state-of-the-art architectures.

研究の動機と目的

• すべてのパスに均等に学習を適用するのを避けることで、ワンショットNASにおけるスーパーネット学習の計算コストを削減すること。
• 有望なアーキテクチャの性能推定にのみスーパーネットを集中させることで、探索効率を向上させること。
• 動的キャッシュプールを用いて高パフォーマンスパスを動的に追跡・活用することで、高い精度を維持すること。
• 同じFLOPsまたはレイテンシ制約下で、既存のワンショットNAS手法と比較して、より高い精度と学習効率を達成すること。

提案手法

• 弱いパスをフィルタリングするための拒否を伴うマルチパスサンプリング戦略を提案し、有効な学習空間を縮小する。
• パスの品質を評価し、低性能パスの拒否を誘導するために、1,000枚の画像からなるサーヴィレート代替セットを用いる。
• 探索と活用を向上させるために、キャッシュパスプールを導入する。
• グリーディフィルタリングを開始する前のスーパーネット安定化のため、10,000イテレーションにわたり均一サンプリングを用いたウォームアップフェーズを実施する。
• キャッシュプールを用いて、活用（サンプリング）、遺伝的アルゴリズムの初期化、および適応的早期停止を実現する。
• パスフィルタリング後に、すべてのパスからキャッシュプール内のパスにのみ焦点を当てるグリーディスーパーネット学習方式を採用する。

実験結果

リサーチクエスチョン

• RQ1 膨大な探索空間において、すべてのパスに均等に更新を適用するのを避けることで、スーパーネット学習の効率を向上させられるか？
• RQ2 学習中に弱いパスを除外することで、最終的な探索アーキテクチャの精度が向上するか？
• RQ3 動的キャッシュプールは、ワンショットNASにおける探索と活用の両方を向上させられるか？
• RQ4 ワンショットNASにおいて、精度を維持または向上させつつ、どの程度学習コストを削減できるか？

主な発見

• GreedyNASは、330M FLOPsの制約下でImageNetで74.89%のTop-1精度を達成し、同じハードウェア制約下のベースライン手法を上回る。
• 従来のワンショットNAS手法と比較して、スーパーネット学習コストを約40%削減しながら、より高い精度を達成する。
• 遺伝的アルゴリズムの初期化にキャッシュプールを用いることで、ベースライン手法と比較して0.18%の精度向上を達成する。
• 10,000イテレーションのウォームアップ後、1,000枚の検証画像を用いて、スーパーネット予測と真の性能の順位相関が0.961（Kendall tau）に達する。
• キャッシュプールに基づいた学習停止により、精度の著しい低下を伴わず効率が向上し、探索と活用のバランスの取れたトレードオフが実現していることが示唆される。
• より大きな探索空間での探索において、新しいSOTAアーキテクチャが発見され、スケーラビリティと有効性が実証された。