[論文レビュー] Dynamic Distribution Pruning for Efficient Network Architecture Search

Xiawu Zheng, Rongrong Ji+6 more|arXiv (Cornell University)|May 28, 2019

Advanced Neural Network Applications参考文献 32被引用数 16

ひとこと要約

本稿では、アーキテクチャの共同カテゴリカル分布に基づいて反復的に探索空間を pruning する動的分布 pruning を提案し、効率的なニューラルアーキテクチャサーチ（NAS）を実現する。この手法により、探索プロセスが高速化され、CIFAR-10 では 1.9% のテスト誤差、ImageNet では 75.2% のトップ-1精度を達成した。それぞれ 1.5 GPU 時間および 2 GPU 日間の計算時間で実現され、従来手法と比較して 1,000× および 100% の高速化を達成した。

ABSTRACT

Network architectures obtained by Neural Architecture Search (NAS) have shown state-of-the-art performance in various computer vision tasks. Despite the exciting progress, the computational complexity of the forward-backward propagation and the search process makes it difficult to apply NAS in practice. In particular, most previous methods require thousands of GPU days for the search process to converge. In this paper, we propose a dynamic distribution pruning method towards extremely efficient NAS, which samples architectures from a joint categorical distribution. The search space is dynamically pruned every a few epochs to update this distribution, and the optimal neural architecture is obtained when there is only one structure remained. We conduct experiments on two widely-used datasets in NAS. On CIFAR-10, the optimal structure obtained by our method achieves the state-of-the-art $1.9$\% test error, while the search process is more than $1,000$ times faster (only $1.5$ GPU hours on a Tesla V100) than the state-of-the-art NAS algorithms. On ImageNet, our model achieves 75.2\% top-1 accuracy under the MobileNet settings, with a time cost of only $2$ GPU days that is $100\%$ acceleration over the fastest NAS algorithm. The code is available at \url{ this https URL}

研究の動機と目的

• 既存の NAS 手法が収束に数千 GPU 日を要するという高い計算コストを解消すること。
• モデル性能を維持または向上させながら、ニューラルアーキテクチャサーチの探索時間を短縮すること。
• 性能分布に基づいて探索空間を動的に pruning する手法を開発し、収束を加速すること。
• 訓練時間の大幅な短縮により、NAS の実世界への実用的導入を可能にすること。

提案手法

• 手法は、探索空間上の共同カテゴリカル分布からアーキテクチャをサンプリングする。
• 数エポックごとに、サンプルされたアーキテクチャの性能分布に基づいて探索空間が動的に pruning される。
• プルーニング処理により低性能なアーキテクチャ要因が削除され、最適構造に近づくように分布が洗練される。
• 探索は、最終的に1つのアーキテクチャが残るまで継続され、それが最適アーキテクチャとして選択される。
• 勾配ベースの分布更新を活用することで、効率的な探索と活用が可能になる。
• 別々の探索フェーズと評価フェーズを必要とせず、エンドツーエンドで適用可能である。

実験結果

リサーチクエスチョン

• RQ1 我々は、SOTA の性能を維持しつつ、NAS の計算コストを顕著に削減できるか？
• RQ2 性能分布に基づく探索空間の動的プルーニングは、収束を加速するためにどれほど効果的か？
• RQ3 提案手法は、大幅に短縮された探索時間で CIFAR-10 および ImageNet において SOTA の精度を達成できるか？
• RQ4 提案フレームワークにおける探索効率とモデル性能のトレードオフは何か？
• RQ5 動的分布プルーニングは、静的または固定された探索空間手法と比較して、収束速度および精度の面でどのように異なるか？

主な発見

• CIFAR-10 において、本手法はわずか 1.5 GPU 時間の探索時間で SOTA の 1.9% のテスト誤差を達成した。これは、従来の NAS 手法と比較して 1,000× 以上の高速化を意味する。
• MobileNet の設定下での ImageNet において、本手法は 2 GPU 日間で 75.2% のトップ-1精度を達成した。これは、最も速い既存の NAS アルゴリズムよりも 100% 速い。
• 低性能なアーキテクチャの動的プルーニングにより、探索プロセスは急速に収束し、時間経過とともに有効な探索空間が縮小される。
• 計算コストを顕著に削減しながらも高い精度を維持できることから、強力な効率-精度トレードオフが示された。
• コードは公開されており、再現性および効率的な NAS におけるさらなる研究を可能にしている。