[論文レビュー] S2DNAS:Transforming Static CNN Model for Dynamic Inference via Neural Architecture Search

Zhihang Yuan, Bingzhe Wu+4 more|arXiv (Cornell University)|Nov 16, 2019

Advanced Neural Network Applications参考文献 45被引用数 8

ひとこと要約

S2DNAS は、ニューラルアーキテクチャサーチを用いて静的CNNモデルを動的推論ネットワークに変換する汎用フレームワークを提案する。チャネル単位のマルチステージアーキテクチャにより、簡単なサンプルの早期リターンを実現する。S2DNAS は、MSDNet と同等の精度を達成するとともに、不規則な計算や複雑なコントローラーを回避し、既存のディープラーニングフレームワークを用いてリソース制約のあるハードウェア上でも効率的なデプロイが可能である。

ABSTRACT

Recently, dynamic inference has emerged as a promising way to reduce the computational cost of deep convolutional neural network (CNN). In contrast to static methods (e.g. weight pruning), dynamic inference adaptively adjusts the inference process according to each input sample, which can considerably reduce the computational cost on "easy" samples while maintaining the overall model performance. In this paper, we introduce a general framework, S2DNAS, which can transform various static CNN models to support dynamic inference via neural architecture search. To this end, based on a given CNN model, we first generate a CNN architecture space in which each architecture is a multi-stage CNN generated from the given model using some predefined transformations. Then, we propose a reinforcement learning based approach to automatically search for the optimal CNN architecture in the generated space. At last, with the searched multi-stage network, we can perform dynamic inference by adaptively choosing a stage to evaluate for each sample. Unlike previous works that introduce irregular computations or complex controllers in the inference or re-design a CNN model from scratch, our method can generalize to most of the popular CNN architectures and the searched dynamic network can be directly deployed using existing deep learning frameworks in various hardware devices.

研究の動機と目的

• リソース制約のある環境における静的CNN推論の高い計算コストを低減すること。
• ハードウェア効率を損なう不規則な計算や複雑なコントローラーを導入せずに動的推論を実現すること。
• アーキテクチャの再設計を伴わずに、既存のCNNアーキテクチャをマルチステージの動的モデルに変換可能な汎用フレームワークを開発すること。
• 適応的でサンプル固有の推論ステージにより、平均FLOPsを削減しながら高いモデル精度を維持すること。
• 標準的なディープラーニングフレームワークを用いて、多様なハードウェアプラットフォームへの実用的デプロイを可能にすること。

提案手法

• S2DNAS は、与えられた静的CNNに事前に定義された変換を適用することでCNNアーキテクチャ空間を生成し、チャンネル幅を段階的に減らしたマルチステージバージョンを生成する。
• 強化学習に基づくニューラルアーキテクチャサーチ（NAS）を用いて、生成された空間から最適なマルチステージアーキテクチャを自動的に同定する。
• フレームワークは、ネットワークの深さではなくチャンネル幅に沿って分割するため、すべての分類器が深い層からのセマンティック特徴にアクセス可能である。
• 各ステージには、信頼度が学習済みのしきい値を超えると早期リターンを行う分類器が含まれる。これにより、簡単なサンプルに対して早期リターンが可能になる。
• 学習中に各ステージの信頼度しきい値を調整することで、精度と計算量のトレードオフを最適化する。
• 結果として得られる動的モデルは、規則的かつ構造化された計算グラフであるため、既存のディープラーニングフレームワークおよびハードウェアアクセラレータと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの再設計を伴わずに、任意の事前学習済み静的CNNを動的推論モデルに変換可能な汎用フレームワークを開発できるか？
• RQ2 不規則な計算や複雑なコントローラーを導入せずに、動的推論を実現できるか？
• RQ3 信頼度しきい値に基づく早期リターンが、多様なデータセットおよびモデルで高い精度を維持しながら平均FLOPsを削減できるか？
• RQ4 S2DNAS は、ResNet、VGG、MobileNet などの異なるCNNアーキテクチャにどの程度一般化可能か？
• RQ5 異なるステージのしきい値設定によって、精度と計算量のトレードオフはどのように変化するか？

主な発見

• S2DNAS は、CIFAR-10 および CIFAR-100 データセットにおいて、ResNet-20、ResNet-56、ResNet-110、VGG-16BN、MobileNetV2 を、最小限の精度低下で動的モデルに変換した。
• CIFAR-10 において、S2DNAS で変換された ResNet-110 では、テストサンプルの61.66％が最初のステージでリターンしており、平均FLOPsが顕著に削減された。
• CIFAR-10 における ResNet-20 では、50％のサンプルが2番目のステージまでにリターンしており、最初のステージ分類器は98.44％の精度を達成しており、簡単なサンプルの効果的な早期検出が示された。
• 手動でのアーキテクチャ設計を必要としないにもかかわらず、MSDNet と同等の精度-計算量トレードオフを達成しており、特にFLOPが低い水準で顕著である。
• このフレームワークは、プルーニングや量子化と直交的であり、これらの技術と組み合わせることでさらなる計算コスト削減が可能である。
• S2DNAS が生成する動的モデルは、規則的かつ構造化された計算であるため、標準的なディープラーニングフレームワークを用いて既存のハードウェア上でデプロイ可能である。