[論文レビュー] Context-Aware Single-Shot Detector

Wei Xiang, Dongqing Zhang+2 more|arXiv (Cornell University)|Jul 27, 2017

Advanced Neural Network Applications参考文献 20被引用数 6

ひとこと要約

本稿では、拡張された有効受容 field を持つようにすることで、小サイズの物体に対する検出精度を著しく向上させる、コンテキストに配慮したワンショット検出器であるCSSDを提案する。この手法は、ドーナツ型またはデコンボリューション層を用いてマルチスケールのコンテキスト特徴を統合することで、実時間推論速度を損なわずにSSDを拡張する。

ABSTRACT

SSD is one of the state-of-the-art object detection algorithms, and it combines high detection accuracy with real-time speed. However, it is widely recognized that SSD is less accurate in detecting small objects compared to large objects, because it ignores the context from outside the proposal boxes. In this paper, we present CSSD--a shorthand for context-aware single-shot multibox object detector. CSSD is built on top of SSD, with additional layers modeling multi-scale contexts. We describe two variants of CSSD, which differ in their context layers, using dilated convolution layers (DiCSSD) and deconvolution layers (DeCSSD) respectively. The experimental results show that the multi-scale context modeling significantly improves the detection accuracy. In addition, we study the relationship between effective receptive fields (ERFs) and the theoretical receptive fields (TRFs), particularly on a VGGNet. The empirical results further strengthen our conclusion that SSD coupled with context layers achieves better detection results especially for small objects ($+3.2\% { m AP}_{@0.5}$ on MS-COCO compared to the newest SSD), while maintaining comparable runtime performance.

研究の動機と目的

• SSDの小サイズ物体に対する性能の低さは、コンテキスト認識の欠如に起因するため、これを是正すること。
• 特にVGG16における、理論的受容 field (TRF) と有効受容 field (ERF) の乖離を分析すること。
• 計算コストを増加させることなく、マルチスケールのコンテキスト特徴を統合することで、SSDの検出精度を向上させること。
• 特徴統合時にスケーリングパラメータを学習する2つの変種—DiCSSD（ドーナツ型畳み込み）とDeCSSD（デコンボリューション）—を考案すること。
• コンテキストモデリングが、特に小サイズ物体や隠蔽状態の物体の検出に顕著に寄与することを検証すること。

提案手法

• CSSDは、より高レベルの特徴マップからマルチスケールのコンテキスト特徴を捉えるコンテキスト層を追加することで、SSDを拡張する。
• DiCSSDは、調整可能なレートを持つドーナツ型畳み込みを用い、空間解像度を維持したまま受容 field を拡大する。
• DeCSSDは、より深い層からの特徴マップを直接再利用し、学習可能なスケーリングパラメータを用いて低レベル特徴と統合する。
• 両変種とも、エンドツーエンドの学習により、最適な統合重みをネットワークが学習可能となるように統合する。
• 本手法は、既存のSSDブロックの上に軽量で学習可能な層を追加するのみで、SSDのワンショット推論を維持する。
• 有効受容 field (ERF) 分析により、ERFが理論的受容 field (TRF) よりも顕著に小さいことが確認され、コンテキストモデリングの必要性が裏付けられる。

実験結果

リサーチクエスチョン

• RQ1 CNNの層における有効受容 field (ERF) は、理論的受容 field (TRF) と比べてどの程度異なるか。この差が物体検出に与える影響は何か。
• RQ2 マルチスケールのコンテキストモデリングは、特に小サイズ物体の検出精度を向上させることができるか。
• RQ3 ドーナツ型畳み込み（DiCSSD）またはデコンボリューション（DeCSSD）を用いたコンテキスト統合は、標準SSDよりも優れた性能を示すか。
• RQ4 提案されたコンテキスト層は、ベースラインSSDと比較して推論速度およびメモリ消費量にどのような影響を与えるか。
• RQ5 コンテキスト統合は、隠蔽や切断といった困難な状況下でも、どの程度検出性能を向上させるか。

主な発見

• ドーナツ型畳み込みを用いたCSSD（DiCSSD）は、最新のSSDと比較してMS-COCOで+3.2%のAP@0.5向上を達成し、テストした全モデルの中で最高のmAPを記録した。
• 小サイズ物体では、DiCSSDは平均精度が6.6%（SSD）から8.2%に向上し、リコール率は15.4%（全手法中最も高い）に達し、顕著な改善が確認された。
• PASCAL VOC 2007では、DiCSSDが40.8 FPSの実時間推論を維持しており、より軽量なVGG16バックボーンを用いてもDSSD（9.5 FPS）を上回った。
• SSDのconv4_3における有効受容 field は、グリッドスケールの1.9倍にとどまることから、ERFがTRFよりも顕著に小さいことが確認され、コンテキストモデリングの正当性が裏付けられた。
• DiCSSDとDeCSSDは、いずれもPASCAL VOC 2007で標準SSDよりもmAPが0.6%および0.1%向上し、計算コストの増加は最小限に抑えられた。
• DETRACでは、DiCSSDが全入力解像度で最良の性能を示し、そのロバストネスと一般化能力が確認された。