[論文レビュー] An Energy and GPU-Computation Efficient Backbone Network for Real-Time Object Detection

Youngwan Lee, Joong‐won Hwang+3 more|arXiv (Cornell University)|Apr 22, 2019

Advanced Neural Network Applications被引用数 6

ひとこと要約

本論文は、DenseNetの密接続をワンショットアグリゲーション（OSA）に置き換えることで、メモリアクセスコストとGPU計算オーバーヘッドを著しく削減しながらも、マルチ受容 field 特徴表現を維持する、新しいバックボーンネットワークVoVNetを提案する。VoVNetは、DenseNetと比較して推論速度が2倍速く、エネルギー消費量が1.6倍～4.1倍低減され、速度、エネルギー効率、小サイズ物体検出精度の面でDenseNetおよびResNetを上回る性能を発揮する。

ABSTRACT

As DenseNet conserves intermediate features with diverse receptive fields by aggregating them with dense connection, it shows good performance on the object detection task. Although feature reuse enables DenseNet to produce strong features with a small number of model parameters and FLOPs, the detector with DenseNet backbone shows rather slow speed and low energy efficiency. We find the linearly increasing input channel by dense connection leads to heavy memory access cost, which causes computation overhead and more energy consumption. To solve the inefficiency of DenseNet, we propose an energy and computation efficient architecture called VoVNet comprised of One-Shot Aggregation (OSA). The OSA not only adopts the strength of DenseNet that represents diversified features with multi receptive fields but also overcomes the inefficiency of dense connection by aggregating all features only once in the last feature maps. To validate the effectiveness of VoVNet as a backbone network, we design both lightweight and large-scale VoVNet and apply them to one-stage and two-stage object detectors. Our VoVNet based detectors outperform DenseNet based ones with 2x faster speed and the energy consumptions are reduced by 1.6x - 4.1x. In addition to DenseNet, VoVNet also outperforms widely used ResNet backbone with faster speed and better energy efficiency. In particular, the small object detection performance has been significantly improved over DenseNet and ResNet.

研究の動機と目的

• リアルタイム物体検出において、強力な特徴表現を備えながらも、DenseNetの高いメモリアクセスコストと低いGPU計算効率という課題を解決すること。
• 密接続による入力チャネル数の2次関数的増加が引き起こす計算およびエネルギーオーバーヘッドを克服すること。
• DenseNetが持つマルチ受容 field 特徴アグリゲーションの利点を保ちながら、不要な中間接続を排除すること。
• ResNetおよびDenseNetと比較して、優れた速度、エネルギー効率、および検出精度（特に小サイズ物体）を達成するバックボーンネットワークを設計すること。
• DSOD、RefineDet、Mask R-CNNを含む複数の検出器を用いて、VoVNetが1段階および2段階検出器の両方において、学習を初期化から行う場合にも有効な効率的バックボーンとして実用可能であることを検証すること。

提案手法

• 中間特徴量を最終特徴マップでのみ1回だけ連結するワンショットアグリゲーション（OSA）という、新しいモジュールを提案。これにより、チャネル数の線形的増加を回避する。
• OSAモジュールをスタックしてVoVNetを設計。各層で入力テンソルサイズが一定を保つことで、メモリアクセスコストを低減し、GPU並列処理を向上させる。
• 異なる層からの多様な受容 field 表現を保持するが、繰り返しの特徴再利用を避ける、マルチスケール特徴アグリゲーション機構を導入。
• ボトルネックアーキテクチャに深さ方向分離畳み込みを採用し、FLOPsを低く抑えつつ、最終OSAブロックでの出力チャネルの拡張を可能にする。
• DSOD、RefineDet、Mask R-CNNといった複数の検出器を用いて、軽量および大規模なVoVNetバージョンのアーキテクチャを検証。
• ImageNetの事前学習なしに、COCOで学習を初期化から行い、汎化性能および効率性を評価。

実験結果

リサーチクエスチョン

• RQ1 DenseNetが持つマルチ受容 field 特徴表現を維持しつつ、その計算およびエネルギー非効率性を解消できるバックボーンネットワークは構築可能か？
• RQ2 密接続を1回のアグリゲーションステップに置き換えることで、メモリアクセスコストを著しく低減し、GPU計算効率を向上させられるか？
• RQ3 より効率的なバックボーンアーキテクチャは、DenseNetおよびResNetを上回る検出精度（特に小サイズ物体）を達成できるか？
• RQ4 提案アーキテクチャは、リアルタイム検出における推論時間およびエネルギー消費を削減する中で、精度を維持または向上させられる程度か？
• RQ5 学習を初期化から行う場合に、VoVNetはMask R-CNNのような2段階検出器の有効なバックボーンとして機能できるか？

主な発見

• VoVNetベースの検出器は、FLOPsおよびパラメータ数が少ないにもかかわらず、DenseNetベースの検出器と比較して推論速度が2倍速く、エネルギー消費量が1.6倍～4.1倍低減された。
• VoVNet-39は1枚あたり4.8Jのエネルギー消費で、DenseNet-161（9.6J）の半分のエネルギーで、同等の精度を達成した。
• VoVNet-39は、DenseNet-121およびDenseNet-161と比較して、小サイズ物体のAPをそれぞれ1.9%および1.2%向上させ、微細な検出に優れた特徴表現を示した。
• Mask R-CNNの実験では、VoVNet-39はCOCO検証セットで41.7 APを達成し、152msの推論時間で、ResNet-50-GN（39.5 AP、157ms）を精度および速度の両面で上回った。
• VoVNet-57は、ResNet-101ベースのモデルの中で最先端の性能を達成し、41.9 APおよび159msの推論時間で、スケーラビリティと効率性を示した。
• VoVNetは、32GB V100 GPU上で、DenseNetベースのモデルが極端なメモリフットプリントのため失敗したのに対し、Mask R-CNNの学習を初期化から成功させた。