[論文レビュー] Multi-Scale Dense Convolutional Networks for Efficient Prediction.

Gao Huang, Danlu Chen+4 more|arXiv (Cornell University)|Mar 29, 2017

Advanced Neural Network Applications被引用数 116

ひとこと要約

本論文は、テスト時の計算制約下での効率的な画像分類を実現するため、早期終了分類器を備えたマルチスケール密度結合畳み込みニューラルネットワークを提案する。密度結合接続とマルチスケール特徴抽出を統合することで、複数の計算リソース要件を有する分類器を統合し、いつでも分類および予算制約付きバッチ分類を可能にし、3つの画像分類ベンチマークで最先端の性能を達成した。

ABSTRACT

In this paper we investigate image classification with computational resource limits at test time. Two such settings are: 1. anytime classification, where the network's prediction for a test example is progressively updated, facilitating the output of a prediction at any time; and 2. budgeted batch classification, where a fixed amount of computation is available to classify a set of examples that can be spent unevenly across easier and harder inputs. In contrast to most prior work, such as the popular Viola and Jones algorithm, our approach is based on convolutional neural networks. We train multiple classifiers with varying resource demands, which we adaptively apply during test time. To maximally re-use computation between the classifiers, we incorporate them as early-exits into a single deep convolutional neural network and inter-connect them with dense connectivity. To facilitate high quality classification early on, we use a two-dimensional multi-scale network architecture that maintains coarse and fine level features all-throughout the network. Experiments on three image-classification tasks demonstrate that our framework substantially improves the existing state-of-the-art in both settings.

研究の動機と目的

• テスト時の計算リソースが制限される状況における効率的画像分類の課題に対処すること。
• 推論中、いつでも予測を生成できる「いつでも分類」を可能にすること。
• 入力の難易度に応じて計算予算を動的に割り当てることで、固定計算予算を各入力に適応的に割り当てる「予算制約付きバッチ分類」を支援すること。
• 1つの深層ネットワーク内で複数の分類器間で計算リソースを再利用することを最大化すること。
• ネットワーク全体にわたりマルチスケール特徴表現を活用することで、分類精度と効率を向上させること。

提案手法

• リソース要件が異なる複数の分類器を学習させ、リソース制約下での柔軟な推論を可能にする。
• 1つの深層畳み込みニューラルネットワーク内に分類器を早期終了ヘッドとして統合し、段階的な予測を可能にする。
• すべての層と分類器の間に密度結合接続を採用することで、特徴再利用と勾配の流れを向上させる。
• 2次元のマルチスケールアーキテクチャを採用し、ネットワークの各段階で粗い特徴と細かい特徴を両方保持する。
• 入力の複雑さと利用可能な予算に応じて、推論中に終了ヘッドの選択を動的に適応させる。
• すべての終了ヘッドにおいて、精度と計算効率のバランスを最適化するため、ネットワーク全体をエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 複数の早期終了分類器を備えた1つの深層ネットワークは、従来手法に比べて、いつでも分類においてより高い効率と精度を達成できるか？
• RQ2 マルチスケール密度アーキテクチャは、推論の各段階で高い特徴品質を効果的に維持できるか？
• RQ3 予算制約付きバッチ分類において、多様な入力に対して計算リソースを最適に割り当てられるか？
• RQ4 分類器間の密度結合は、リソース制約下で特徴再利用とモデル性能を向上させるか？
• RQ5 提案フレームワークは、いつでも分類および予算制約付き分類の両設定において、最先端手法を上回ることができるか？

主な発見

• 提案フレームワークは、いつでも分類および予算制約付きバッチ分類の両設定において、3つの画像分類ベンチマークで最先端の性能を達成した。
• ネットワーク全体にわたりマルチスケール特徴を活用することで、初期段階の予測精度が顕著に向上した。
• 密度結合により、分類器間での効果的な特徴再利用が実現され、モデルの効率性と精度が向上した。
• 入力の難易度に応じた終了ヘッドの動的選択により、利用可能な計算予算の有効活用が図られた。
• 制限された推論時間または計算リソース下でも、従来手法に比べて顕著な精度の向上が確認された。
• 結果から、早期終了とマルチスケール・密度アーキテクチャを組み合わせることが、効率的推論に極めて有効であることが確認された。