[論文レビュー] STEERAGE: Synthesis of Neural Networks Using Architecture Search and Grow-and-Prune Methods

Shayan Hassantabar, Xiaoliang Dai+1 more|arXiv (Cornell University)|Dec 12, 2019

Advanced Neural Network Applications参考文献 50被引用数 20

ひとこと要約

STEERAGEは、効率的なアーキテクチャ探索と成長・ pruning 最適化を組み合わせた二段階のニューラルネットワーク合成フレームワークを提案する。精度予測器としてブーストされた決定木を用い、探索を高速化するとともに、局所的な成長とプルーニングを適用して性能を向上させ、冗長性を低減する。40層のResNet変種を用いて、CIFAR-10で3.86%の誤差率を達成し、SOTAの精度を実現した。

ABSTRACT

Neural networks (NNs) have been successfully deployed in many applications. However, architectural design of these models is still a challenging problem. Moreover, neural networks are known to have a lot of redundancy. This increases the computational cost of inference and poses an obstacle to deployment on Internet-of-Thing sensors and edge devices. To address these challenges, we propose the STEERAGE synthesis methodology. It consists of two complementary approaches: efficient architecture search, and grow-and-prune NN synthesis. The first step, covered in a global search module, uses an accuracy predictor to efficiently navigate the architectural search space. The predictor is built using boosted decision tree regression, iterative sampling, and efficient evolutionary search. The second step involves local search. By using various grow-and-prune methodologies for synthesizing convolutional and feed-forward NNs, it reduces the network redundancy, while boosting its performance. We have evaluated STEERAGE performance on various datasets, including MNIST and CIFAR-10. On MNIST dataset, our CNN architecture achieves an error rate of 0.66%, with 8.6x fewer parameters compared to the LeNet-5 baseline. For the CIFAR-10 dataset, we used the ResNet architectures as the baseline. Our STEERAGE-synthesized ResNet-18 has a 2.52% accuracy improvement over the original ResNet-18, 1.74% over ResNet-101, and 0.16% over ResNet-1001, while having comparable number of parameters and FLOPs to the original ResNet-18. This shows that instead of just increasing the number of layers to increase accuracy, an alternative is to use a better NN architecture with fewer layers. In addition, STEERAGE achieves an error rate of just 3.86% with a variant of ResNet architecture with 40 layers. To the best of our knowledge, this is the highest accuracy obtained by ResNet-based architectures on the CIFAR-10 dataset.

研究の動機と目的

• ディープラーニングにおける巨大で指数関数的に増加するニューラルアーキテクチャ探索空間の課題に対処すること。
• ニューラルネットワーク設計における試行錯誤によるハイパーパramータチューニングの非効率性と劣化を克服すること。
• モデルの冗長性と計算コストを低減し、エッジデバイスやIoTセンサへのデプロイを可能にすること。
• 深くリソースを大量に消費するアーキテクチャに依存せずに、同時にモデルの精度とコンパクト性を向上させること。
• 順伝播型および畳み込みニューラルネットワークの両方に適用可能な汎用的で効率的なフレームワークを開発すること。

提案手法

• 完全なトレーニングを伴わずにアーキテクチャの性能を推定できる、ブーストされた決定木回帰モデルを精度予測器として用いたグローバル探索モジュールを採用する。
• 精度予測器を探索空間全体にわたって効率的にトレーニングするために、準モンテカルロ（QMC）サンプリングと反復的サンプリングを統合する。
• ベースアーキテクチャから高性能なアーキテクチャバリアントを探索・同定するために、効率的進化探索（EES）アルゴリズムを適用する。
• 2つの異なる成長・プルーニング手法を用いたローカル探索フェーズを実装する：順伝播型ネットワークにはSCANN、畳み込み層にはNeSTを適用する。
• 順伝播型ネットワークでは、反復的な接続成長、ニューロン成長、および接続プルーニングを適用して、精度とコンパクト性を向上させる。
• 畳み込み層では、特徴マップの成長と、設定可能なプルーニング比を有する部分領域畳み込みを用い、精度と効率のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 反復的サンプリングを組み合わせたブーストされた決定木に基づく精度予測器は、高い性能を維持しつつ、ニューラルアーキテクチャ探索を顕著に高速化できるか？
• RQ2 成長・プルーニングによる合成手法は、ニューラルネットワークの精度とモデルのコンパクト性をどの程度向上できるか？
• RQ3 グローバル＋ローカル探索戦略は、従来のNAS手法に比べて、効率性と最終的なモデル品質の両面で優れているか？
• RQ4 より浅く小さなResNet変種を用いて、CIFAR-10でSOTAの精度を達成することは可能か？
• RQ5 次元削減と深さ、幅、プルーニング比のハイパーパramータ探索を統合することで、最終的なモデルの性能と効率性にどのような影響を与えるか？

主な発見

• STEERAGEが合成したResNet-40は、CIFAR-10でテスト誤差率3.86%を達成し、1001層のResNet-1001（誤差率4.62%）でさえも上回った。
• STEERAGEが合成したResNet-18バリアントは、誤差率4.46%を記錣し、元のResNet-18に比べ2.52%の改善、より深いResNet-101に比べても1.74%の改善を達成した。
• STEERAGEが合成したResNet-18のコンパクト版は、元のResNet-18に比べ2.1倍少ないパラメータで、誤差率4.78%を達成した。
• 精度予測器のおかげで、アーキテクチャ評価が6000倍高速化され、1モデルあたりの推論時間は約2GPU時間から1.2秒に短縮された。
• フレームワークは、わずか0.41Mパラメータと1.30G FLOPsで40層のResNetを生成し、CIFAR-10におけるすべてのResNetベースアーキテクチャの中で最高の精度を達成した。
• グローバル＋ローカル探索アプローチは、グローバル探索のみに比べて一貫して優れており、ローカルな最適化が精度とコンパクト性の両方を向上させることを示した。