[論文レビュー] Fast Feature Extraction with CNNs with Pooling Layers

Christian Bailer, Tewodros Habtegebrial+2 more|arXiv (Cornell University)|May 8, 2018

Advanced Image and Video Retrieval Techniques参考文献 8被引用数 9

ひとこと要約

本論文は、重複する画像パッチ間で冗長な計算を排除することで、プーリング層やストライド層を含むCNNからの高密度特徴抽出を高速化する汎用的手法を提案する。画像全体を一度に処理できるようにネットワークを再構成するための転置およびリシェイプ操作を適用することで、パッチ単位の推論と比較して最大3216倍の高速化を達成し、1枚あたり0.12秒未塔の状態を達成する。

ABSTRACT

In recent years, many publications showed that convolutional neural network based features can have a superior performance to engineered features. However, not much effort was taken so far to extract local features efficiently for a whole image. In this paper, we present an approach to compute patch-based local feature descriptors efficiently in presence of pooling and striding layers for whole images at once. Our approach is generic and can be applied to nearly all existing network architectures. This includes networks for all local feature extraction tasks like camera calibration, Patchmatching, optical flow estimation and stereo matching. In addition, our approach can be applied to other patch-based approaches like sliding window object detection and recognition. We complete our paper with a speed benchmark of popular CNN based feature extraction approaches applied on a whole image, with and without our speedup, and example code (for Torch) that shows how an arbitrary CNN architecture can be easily converted by our approach.

研究の動機と目的

• 画像タスクにおける重複パッチへのCNN適用時の冗長計算の非効率性を解消すること。
• プーリングやストライド層の影響を受けることなく、フル画像上で高速かつ高密度な特徴抽出を可能にすること。
• オプティカルフロー、ステレオマッチング、オブジェクト検出などのタスクで使用される既存のCNNアーキテクチャに適用可能な汎用的解決策を提供すること。
• パッチ単位の推論やプーリング層を避けるアーキテクチャ的制限を排除すること。

提案手法

• プーリング／ストライド層を含む事前学習済みCNNを、転置およびリシェイプ操作を用いて単一画像推論用ネットワークに再構成する。
• 複数のシフト位置でマックスプーリングを適用するマルチスケールプーリング層を導入し、ダウンサンプリング後の解像度を保持する。
• パディングおよび次元操作を用いて、異なる空間的位置における特徴マップを整列させ、計算の共有を可能にする。
• 元のネットワークの層と、特別なアンワーピングおよびリシェイプ層を交互に配置することで、画像全体を処理するネットワーク（C_I）を構築する。
• すべてのシフトバージョンのプーリング操作を生成するマルチプール戦略を採用し、解像度の損失を回避する。
• Torchなどのフレームワークネイティブな操作を活用して、変換を効率的かつ再現可能に実装する。

実験結果

リサーチクエスチョン

• RQ1 プーリングやストライド層が存在する際、パッチベースのCNN推論における冗長計算を排除できるか？
• RQ2 アーキテクチャの再設計なしに、既存のCNNアーキテクチャを用いてフル画像上で高速かつ高密度な特徴抽出を実現できるか？
• RQ3 パッチ単位の推論と比較して、CNNを一度に全体画像を処理するように再構成することで、どの程度の高速化が達成できるか？
• RQ4 オプティカルフローおよびステレオマッチングなどのタスクにおいて、提案手法は推論時間を大幅に短縮しながらも特徴品質を維持できるか？

主な発見

• 本手法は、大規模な画像においてパッチ単位の推論と比較して最大3216倍の高速化を達成し、864×576の画像に対して推論時間を0.113秒まで短縮した。
• 本手法により、複数のプーリング層を含む最先端のCNNを用いても、1枚あたり0.12秒未塔の高密度特徴抽出が可能になった。
• メモリ使用量は管理可能であり、最速の手法ではピークメモリ使用量が9850 MBに留まり、ベースラインのパッチ単位推論（11495 MB）と比較して低めだった。
• 本手法はほぼすべての既存のCNNアーキテクチャと互換性があり、オプティカルフロー、ステレオマッチング、スライディングウィンドウ検出などのタスクに適用可能である。
• ベンチマーク結果では、画像全体を処理するネットワーク（C_I）が、テストされた画像全体で平均1760倍の高速化をパッチ単位推論（C_P）を上回った。
• 本手法により、プーリング層を放棄する必要や、冗長な計算を避ける必要がなくなり、高密度特徴抽出の実用的で効率的な代替手段を提供した。