[論文レビュー] DenseNet: Implementing Efficient ConvNet Descriptor Pyramids

Forrest Iandola, Matthew W. Moskewicz+4 more|arXiv (Cornell University)|Apr 7, 2014

Advanced Neural Network Applications参考文献 14被引用数 657

ひとこと要約

DenseNetは、重複する領域間で共有される特徴計算を再利用することにより、事前学習済み分類器から密度的でマルチスケールの畳み込みニューラルネットワーク（CNN）特徴ピラミッドを効率的に計算するシステムを提案し、高速かつ高精度なオブジェクト検出を実現する。従来の領域ごとのCNN推論と比較して10倍の高速化を達成し、NVIDIA K20 GPU上で2000領域の候補を10秒から1秒に短縮する一方で、記述子の忠実性を維持する。

ABSTRACT

Convolutional Neural Networks (CNNs) can provide accurate object classification. They can be extended to perform object detection by iterating over dense or selected proposed object regions. However, the runtime of such detectors scales as the total number and/or area of regions to examine per image, and training such detectors may be prohibitively slow. However, for some CNN classifier topologies, it is possible to share significant work among overlapping regions to be classified. This paper presents DenseNet, an open source system that computes dense, multiscale features from the convolutional layers of a CNN based object classifier. Future work will involve training efficient object detectors with DenseNet feature descriptors.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）を用いたスライディングウィンドウ型オブジェクト検出における高い計算コストを軽減すること。これは、領域候補の数が増えるとスケーリングが著しく悪化するためである。
• マルチスケールおよびマルチアスペクト比の領域候補に対して、事前学習済みCNNから効率的な密度的特徴抽出を可能にすること。
• 研究開発におけるオブジェクト検出の分野で利用可能なオープンソースで相互運用可能な実装を提供すること。Caffeに統合されている。
• 密度的に計算された特徴が、個別に計算された領域ごとのCNN記述子をどれほど正確に近似できるかを検証すること。
• 将来の効率的なオブジェクト検出器の学習を、共有され、マルチスケールのCNN記述子を用いて可能にすること。

提案手法

• DenseNetは、1回の順伝播処理で画像全体の特徴ピラミッドを計算し、重複する領域間で計算の重複を回避する。
• 精度に顕著な損失を伴わず、複雑さを低減するため、チャネルごとの平均画像差し引きの代わりに簡略化されたピクセル平均差し引きを用いる。
• 入力画像を所定のアスペクト比に変形することで、非正方形の領域候補をサポートする。
• 特徴ピラミッドは、複数スケールでの入力画像のダウンサンプリング版および変形版に同じCNNを適用することで構築する。
• MATLABおよびPythonのAPIを備えたCaffeディープラーニングフレームワークに統合されており、検出パイプラインへの容易な統合を可能にする。
• 事前学習済みCNN（例：AlexNet）の受容fieldと特徴階層を活用して、空間的に密度の高い豊富な記述子を抽出する。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークを用いたスライディングウィンドウ型オブジェクト検出を現実的に行うのに十分な効率で、密度的でマルチスケールのCNN特徴ピラミッドを計算できるか？
• RQ2 個別に計算された領域ごとのCNN記述子と比較して、密度的に計算された特徴はどれほど正確に近似できるか？
• RQ3 特徴抽出において、複数のアスペクト比とスケールレベルをサポートする際の計算オーバーヘッドはどの程度か？
• RQ4 完全な平均画像差し引きに代えて、単一のピクセル平均値を用いた簡略化されたデータセンターイングが、性能に与える影響はどの程度か？
• RQ5 オープンソースでCaffeに統合されたシステムは、CNNベースのオブジェクト検出器の迅速なプロトタイピングと比較を可能にするか？

主な発見

• NVIDIA K20 GPU上で2000領域の候補を計算する時間を10秒から1秒に短縮し、10倍の高速化を達成した。
• 単一のピクセル平均値を用いたセンターイングでは、完全な平均画像差し引きと比較してトップ1精度がわずか0.2%低下したが、この簡略化が妥当であることを裏付けた。
• 視覚的比較により、DenseNetが事前に計算したピラミッドから抽出された記述子が、個別に計算されたものと視覚的に類似していることが確認され、忠実性が裏付けられた。
• 特徴抽出の前に入力画像を変形することで、複数のアスペクト比をサポートし、柔軟な検出パイプライン統合を可能にした。
• Caffeへのオープンソース統合およびMATLAB/Python APIの提供により、DPM や R-CNN といった既存の検出フレームワークとの相互運用性が向上した。
• 重複する領域間で特徴を再利用できるため、大規模な密度的CNNベースの検出が現実可能になった。