[論文レビュー] Multi-scale Location-aware Kernel Representation for Object Detection

Hao Wang, Qilong Wang+3 more|arXiv (Cornell University)|Apr 2, 2018

Advanced Neural Network Applications参考文献 33被引用数 12

ひとこと要約

本論文では、オブジェクト候補における深層特徴の高次統計を、マルチスケール特徴マップ上で低次元の多項式カーネル近似によって捉えることで、オブジェクト検出を向上させる新規手法であるマルチスケール位置認識カーネル表現（MLKP）を提案する。空間的位置情報を保持することで、PASCAL VOC 2007、VOC 2012、MS COCOベンチマークにおいてそれぞれ4.9%、4.7%、5.0%のFaster R-CNNの性能向上を達成し、小形および難易度の高いオブジェクトの検出において顕著な向上を示した。

ABSTRACT

Although Faster R-CNN and its variants have shown promising performance in object detection, they only exploit simple first-order representation of object proposals for final classification and regression. Recent classification methods demonstrate that the integration of high-order statistics into deep convolutional neural networks can achieve impressive improvement, but their goal is to model whole images by discarding location information so that they cannot be directly adopted to object detection. In this paper, we make an attempt to exploit high-order statistics in object detection, aiming at generating more discriminative representations for proposals to enhance the performance of detectors. To this end, we propose a novel Multi-scale Location-aware Kernel Representation (MLKP) to capture high-order statistics of deep features in proposals. Our MLKP can be efficiently computed on a modified multi-scale feature map using a low-dimensional polynomial kernel approximation.Moreover, different from existing orderless global representations based on high-order statistics, our proposed MLKP is location retentive and sensitive so that it can be flexibly adopted to object detection. Through integrating into Faster R-CNN schema, the proposed MLKP achieves very competitive performance with state-of-the-art methods, and improves Faster R-CNN by 4.9% (mAP), 4.7% (mAP) and 5.0% (AP at IOU=[0.5:0.05:0.95]) on PASCAL VOC 2007, VOC 2012 and MS COCO benchmarks, respectively. Code is available at: https://github.com/Hwang64/MLKP.

研究の動機と目的

• Faster R-CNNが一次特徴統計に依存するため、小形および難易度の高いオブジェクトの検出に限界を示す問題に対処すること。
• 空間的位置情報を保持したまま、オブジェクト検出に高次統計を統合することの可能性を探ること。
• フレームワークに依存しない、効率的な手法を開発し、分類および回帰のための提案表現を向上させること。
• マルチスケール特徴と位置感受性カーネル表現を組み合わせることで、標準ベンチマークで最先端の性能を達成すること。

提案手法

• マルチスケール特徴マップ上でr次多項式カーネル近似を計算するマルチスケール位置認識カーネル表現（MLKP）を提案する。
• 1×1畳み込みと要素ごとの乗算を用いて、複数の次数にわたる多項式カーネル表現を効率的に計算する。
• 各空間位置の寄与度を測定するための学習可能な位置重みネットワーク（パラメータΘₘ）を導入し、空間感度を保持する。
• カーネル計算後に空間構造を維持するために、リマップ操作（1⊗）を適用し、標準的なRoIプーリングを可能にする。
• すべての多項式カーネル次数からの表現を連結し、空間情報を保持したまま判別性の高い特徴ベクトルを生成する。
• エンド・トゥ・エンド学習を可能にするために、MLKPをFaster R-CNNフレームワークに統合し、標準的な検出パイプラインと互換性を保つ。

Figure 2: Overview of our multi-scale location-aware kernel representation (MLKP). As polynomial kernel representations can be decomposed into $1\times 1\times D^{r}$ convolution operations and element-wise product $\odot$ . Given a multi-scale feature map $\mathcal{X}$ (see Fig. 3 for details on mu

実験結果

リサーチクエスチョン

• RQ1 適切に局所化された場合、深層特徴の高次統計がオブジェクト検出性能を向上させられるか？
• RQ2 空間情報を保持しながら、高次表現を効率的に計算する方法は何か？
• RQ3 位置コンテキストを失わず、マルチスケール特徴をカーネルベースのアプローチで効果的にモデル化できるか？
• RQ4 位置認識型多項式カーネル近似は、小形および難易度の高いオブジェクトの検出において一次特徴表現を上回るか？
• RQ5 提案手法は、異なるバックボーンネットワークや検出ベンチマークに一般化可能か？

主な発見

• PASCAL VOC 2007では、MLKPがFaster R-CNNのmAPを4.9%向上させ、顕著な性能向上を示した。
• PASCAL VOC 2012では、VGG-16を用いてFaster R-CNNを5.1%向上させ、困難なオブジェクトカテゴリにおいても有効性を確認した。
• MS COCOでは、IOU=[0.5:0.05:0.95]でFaster R-CNNを5.0%向上させ、DSSD や SSD といった最先端手法を上回った。
• 位置認識型の高次表現のおかげで、遠くの人物や植物といった小形・難易度の高いオブジェクトの検出が優れた性能で達成された。
• HyperNet や RON、ION-Net よりもそれぞれ1.8%、0.5%、1.6%の向上を達成し、位置感受性カーネル学習の優位性を実証した。
• ResNet-101を用いた場合、MS COCOでFaster R-CNNを4.2%向上させ、DSSD や SSD といった領域フリー手法をも凌駃し、バックボーンにわたる強い一般化性能を示した。

Figure 3: The overview of our modified multi-scale feature map with VGG-16 [ 35 ] . Please refer to Fig. 2 .