[論文レビュー] Fast Object Localization Using a CNN Feature Map Based Multi-Scale Search

Hyungtae Lee, Heesung Kwon+2 more|arXiv (Cornell University)|Apr 12, 2016

Advanced Neural Network Applications参考文献 18被引用数 3

ひとこと要約

本論文は、領域提案を回避する深層畳み込みニューラルネットワーク（CNN）特徴マップ上で、マルチスケールおよびマルチアスペクト比の検索を用いた高速でリアルタイムのオブジェクト局所化手法を提案する。異なるサブウィンドウサイズおよびアスペクト比に対応する専用の全結合「エキスパート」ユニットを採用することで、PASCAL VOC 12ではmAPが2.4%向上、MSCOCOでは2.6%向上し、計算時間も顕著に短縮された。推論速度は4 fpsを達成した。

ABSTRACT

Object localization is an important task in computer vision but requires a large amount of computational power due mainly to an exhaustive multiscale search on the input image. In this paper, we describe a near real-time multiscale search on a deep CNN feature map that does not use region proposals. The proposed approach effectively exploits local semantic information preserved in the feature map of the outermost convolutional layer. A multi-scale search is performed on the feature map by processing all the sub-regions of different sizes using separate expert units of fully connected layers. Each expert unit receives as input local semantic features only from the corresponding sub-regions of a specific geometric shape. Therefore, it contains more nearly optimal parameters tailored to the corresponding shape. This multi-scale and multi-aspect ratio scanning strategy can effectively localize a potential object of an arbitrary size. The proposed approach is fast and able to localize objects of interest with a frame rate of 4 fps while providing improved detection performance over the state-of-the art on the PASCAL VOC 12 and MSCOCO data sets.

研究の動機と目的

• 深層CNNにおける全スケールのオブジェクト局所化の高い計算コストを軽減すること。
• 領域提案や遅いR-CNNスタイルのパイプラインに依存せずに、局所化精度を向上させること。
• 動画やストリーミングアプリケーションにおけるリアルタイム推論（4 fps）を可能にすること。
• 異なるオブジェクトスケールおよびアスペクト比に特化したエキスパートネットワークの有効性を検証すること。
• 従来のCNNベースの局所化手法と比較して、計算時間の短縮を図りながら性能を維持または向上させること。

提案手法

• 本手法は、事前に学習されたCNNの最終畳み込み層からの特徴マップに対して、マルチスケールおよびマルチアスペクト比のスキャンを実行する。
• 各サブウィンドウサイズおよびアスペクト比ごとに、独立した全結合「エキスパート」ユニットを用い、それぞれが特定の幾何的形状のオブジェクトを分類するように学習される。
• 複数のスケールで特徴マップから関心領域（ROI）を抽出し、6×6の特徴マップでは4×4から6×6のウィンドウを、2レベルの画像ピラミッドでは最大13×13のウィンドウをカバーする。
• オブジェクトスケールのカバー範囲を広げるために、元画像と補間による2倍サイズの画像の2レベルの画像ピラミッドを活用する。
• すべてのエキスパートユニットの分類スコアを統合し、各オブジェクトカテゴリに対して信頼度スコアが最大のバウンディングボックスを特定する。
• 各空間的位置の信頼度スコアは、その位置を含むすべての検出結果の正規化スコアの平均値として計算され、n=5を用いて低信頼度の検出を抑制する。

実験結果

リサーチクエスチョン

• RQ1 CNN特徴マップ上でマルチスケールおよびマルチアスペクト比のスキャン戦略を採用することで、領域提案を用いずにオブジェクト局所化の精度を向上させられるか？
• RQ2 異なるウィンドウ形状に特化した専用のエキスパート全結合層を用いることで、単一の共有分類器よりも優れた局所化性能が得られるか？
• RQ3 本手法は、最先端の手法を上回る性能を発揮しながらも、リアルタイム推論（≥4 fps）を達成できるか？
• RQ4 2レベルの画像ピラミッドの使用が、オブジェクトスケールのカバー範囲および局所化性能に与える影響は何か？
• RQ5 ピラミッドレベルを増加させた場合、精度と推論速度のトレードオフはどのように変化するか？

主な発見

• 提案手法は4 fpsのフレームレートを達成し、RCNN（9.0 sec/im）やFast-RCNN（2.1 sec/im）よりも顕著に高速であり、Oquab15（1.3 sec/im）でさえも上回った。
• PASCAL VOC 2012の検証セットでは、mAPが75.4%に達し、RCNN（74.8%）やFast-RCNN（71.3%）を上回った。
• 3レベルの画像ピラミッドを用いることで、2レベルバージョンと比較して分類のmAPが2.6%、局所化のmAPが2.4%向上したが、推論時間は延長され（1.58 sec/im）、コストが増加した。
• 複数のエキスパートユニットを用いることで、単一の共有全結合層と比較して局所化mAPが5.3ポイント向上した（77.8% vs. 72.5%）。
• 本手法は、Oquab15に選択的探索の提案を組み合わせた手法よりも局所化精度が優れており、サブウィンドウベースのアプローチの有効性を示している。
• n=5による正規化を用いた信頼度スコア集約法は、低信頼度の検出を効果的に抑制し、局所化のロバスト性を向上させた。