[論文レビュー] SkipNet: Learning Dynamic Routing in Convolutional Networks

Xin Wang, Fisher Yu+3 more|arXiv (Cornell University)|Nov 26, 2017

Visual Attention and Saliency Detection参考文献 4被引用数 46

ひとこと要約

SkipNetは、教師あり事前学習と強化学習を組み合わせたハイブリッド学習アプローチを用いて、入力ごとに冗長な層をスキップする動的な畳み込みネットワークを導入する。ゲーティング機構を用いて残留ブロックを効果的にバイパスすることで、CIFAR-10、CIFAR-100、SVHN、ImageNetの各データセットで推論計算量を30–90%削減しながら、完全モデルと同等の精度を維持する。静的圧縮手法や先行する動的ネットワーク手法を上回る性能を発揮する。

ABSTRACT

While deeper convolutional networks are needed to achieve maximum accuracy in visual perception tasks, for many inputs shallower networks are sufficient. We exploit this observation by learning to skip convolutional layers on a per-input basis. We introduce SkipNet, a modified residual network, that uses a gating network to selectively skip convolutional blocks based on the activations of the previous layer. We formulate the dynamic skipping problem in the context of sequential decision making and propose a hybrid learning algorithm that combines supervised learning and reinforcement learning to address the challenges of non-differentiable skipping decisions. We show SkipNet reduces computation by 30-90% while preserving the accuracy of the original model on four benchmark datasets and outperforms the state-of-the-art dynamic networks and static compression methods. We also qualitatively evaluate the gating policy to reveal a relationship between image scale and saliency and the number of layers skipped.

研究の動機と目的

• 深層畳み込みネットワークにおける推論計算量を精度を損なわずに削減すること。
• 動的ニューラルネットワークにおける非微分可能で離散的なレイヤースキップ意思決定の課題に対処すること。
• 個々の畳み込みブロックをスキップするタイミングを学習することで、入力に応じた適応的深さを実現する手法を開発すること。
• 精度と計算量のトレードオフにおいて、静的モデル圧縮技術および既存の動的推論手法を凌駕すること。

提案手法

• 各ブロックグループに学習可能なゲーティングモジュールを備えた変更版残差ネットワークであるSkipNetを導入する。
• 2段階の訓練を実施：第一段階では、再パrameterizationを用いてバイナリスキップ意思決定を柔らかく緩和し、交差エントロピー損失を用いた微分可能な訓練を実施する。
• 第二段階では、REINFORCEに基づく強化学習を用いて、緩和なしのハードバイナリスキップポリシーを最適化する。
• 各ゲーティングモジュールは、前のレイヤーからの活性化を入力とし、次のブロックをスキップする確率を出力する。
• ハイブリッドアプローチにより、強化学習微調整の過程でスキップポリシーと予測誤差を同時に最適化することで、訓練の安定性を向上させる。
• スキップ意思決定が直前のレイヤー出力に条件付けられる逐次的意思決定フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークは、入力ごとに個々の畳み込み層をスキップすることで計算量を削減しながら、精度を維持できるか？
• RQ2 非微分可能で離散的なスキップ意思決定を、深層学習フレームワークで効果的に学習できるか？
• RQ3 教師あり事前学習と強化学習を組み合わせることで、純粋な強化学習に比べてより優れた一般化性能が得られるか？
• RQ4 入力の複雑さ（例：画像スケールや顕著性）とスキップするレイヤー数の関係は何か？
• RQ5 異なるネットワークブロックおよびデータセット間で、動的スキップ動作はどのように変化するか？

主な発見

• SkipNetは、CIFAR-10で50%、CIFAR-100で37%、SVHNで86%、ImageNetで30%の推論計算量を削減しながら、完全モデルと同等の精度を維持する。
• ハイブリッド訓練法（HRL+SP）は、純粋な強化学習に比べて顕著に高い精度を達成しており、後者は有用なポリシーに収束しなかった。
• FLOP予算が同等の条件下で、'ハード'ゲーティングは 'ソフト'ゲーティングを上回る性能を示しており、ソフトゲーティングにおける訓練・推論の不一致が性能を劣化させることを示している。
• 簡単な画像（例：トラック）は、難しい画像（例：イヌ）よりも積極的にスキップされる。容易なクラスではスキップ比が右に偏り、困難なクラスでは左に偏る。
• ResNetのブロックグループ2は、グループ1および3と比較してより少ないスキップを示しており、特徴抽出においてより重要な役割を果たしていると考えられる。
• 学習されたスキップポリシーは、画像スケール／顕著性とスキップするレイヤー数の間に明確な相関関係を示しており、より複雑な画像ではより深いパスが使用されている。