[論文レビュー] BlockDrop: Dynamic Inference Paths in Residual Networks

Zuxuan Wu, Tushar Nagarajan+5 more|arXiv (Cornell University)|Nov 22, 2017

Advanced Neural Network Applications参考文献 50被引用数 40

ひとこと要約

BlockDropは、推論中に残差ブロックを動的にスキップする強化学習ベースの手法を導入し、インスタンス固有のパスを学習することで、計算量を削減しながら精度を維持する。ImageNetではResNet-101で平均20%の高速化を達成し、トップ1精度は76.4%を維持する。また、学習されたポリシーは視覚的意味と相関関係にあり、インスタンスの難易度を反映している。

ABSTRACT

Very deep convolutional neural networks offer excellent recognition results, yet their computational expense limits their impact for many real-world applications. We introduce BlockDrop, an approach that learns to dynamically choose which layers of a deep network to execute during inference so as to best reduce total computation without degrading prediction accuracy. Exploiting the robustness of Residual Networks (ResNets) to layer dropping, our framework selects on-the-fly which residual blocks to evaluate for a given novel image. In particular, given a pretrained ResNet, we train a policy network in an associative reinforcement learning setting for the dual reward of utilizing a minimal number of blocks while preserving recognition accuracy. We conduct extensive experiments on CIFAR and ImageNet. The results provide strong quantitative and qualitative evidence that these learned policies not only accelerate inference but also encode meaningful visual information. Built upon a ResNet-101 model, our method achieves a speedup of 20\% on average, going as high as 36\% for some images, while maintaining the same 76.4\% top-1 accuracy on ImageNet.

研究の動機と目的

• 自律走行やモバイル推論などのリアルタイム応用における深層ResNetsの高い計算コストに対処すること。
• 入力画像の複雑さに基づいて、どの残差ブロックをスキップするかを学習することで、インスタンス固有の計算を可能にすること。
• 1回の推論あたり実行するブロック数を最小限に抑えながら、高い予測精度を維持すること。
• 学習されたブロックスキップポリシーが意味のある視覚的情報をエンコードしているかどうか、および画像の難易度と相関しているかどうかを調査すること。

提案手法

• 入力画像ごとに各残差ブロックをスキップする確率を予測するポリシーネットワークを、関連付けられた強化学習により訓練する。
• ブロック使用量を最小化するとともに分類精度を維持するという二重報酬を用いてポリシーネットワークを訓練する。
• 事前学習済みのResNetをポリシーネットワークと共同で微調整し、動的ブロックスキップに適した特徴表現を生成する。
• すべてのブロック決定を1ステップで行い、逐次的推論のオーバーヘッドを回避することで、深層ネットワークへのスケーラビリティを実現する。
• オンラインレジームインティマイゼーションを伴わない、コンテキストバンドイット問題としてのアプローチを定式化する。
• 訓練の安定化のため、段階的に難易度を上げるカリキュラム学習を用いる。

実験結果

リサーチクエスチョン

• RQ1 学習されたポリシーは、精度を損なわずに推論時間を短縮するために、ResNetの残差ブロックを動的にスキップできるか？
• RQ2 学習されたブロックスキップポリシーは、画像の内容に関連する意味的な視覚パターンをエンコードしているか？
• RQ3 使用するブロック数は、画像を分類する際の「感じの難易度」と相関しているか？
• RQ4 静的またはグローバルなブロックスキップ方式よりも、この手法がより優れた効率-精度トレードオフを達成できるか？
• RQ5 1ステップ決定機構は、逐次的代替手法に比べて速度とオーバーヘッドの面で優れているか？

主な発見

• BlockDropは、ImageNetのResNet-101において、平均20%の高速化を達成しながらも、トップ1精度76.4%を維持した。
• CIFAR-10では、ResNet-110のブロックのうちたった33%しか使用せず、93.6%の精度に到達し、先行手法を上回った。
• CIFAR-100では、ブロックの55%を使用して73.7%の精度を達成し、再び最先端の手法を上回った。
• 学習されたポリシーは視覚的意味と相関している：例えば、山盛りのオレンジとそのクローズアップ画像では異なる推論パスが使用された。
• ブロックをあまり使わない画像は視覚的に単純であることが確認された—通常は1つの明確に識別可能な、中央に位置する物体が特徴である。これは、ブロック使用量がインスタンスの難易度を反映していることを裏付けた。
• 逐次的バージョンの手法では逆に速度低下が生じ、1ステップ決定機構が効率性を確保するために不可欠であることを示した。