[論文レビュー] Inside-Outside Net: Detecting Objects in Context with Skip Pooling and Recurrent Neural Networks

Sean Bell, C. Lawrence Zitnick+2 more|arXiv (Cornell University)|Dec 14, 2015

Advanced Neural Network Applications参考文献 37被引用数 63

ひとこと要約

この論文では、スループールと空間的4方向RNNを用いて、マルチスケール特徴量と文脈情報を統合することで、検出精度を向上させる領域ベースのオブジェクト検出器であるInside-Outside Net（ION）を提案する。本手法は、PASCAL VOC 2012で76.4%のmAP、MS COCOで33.1%のmAPを達成し、特に小さな物体や隠れ物体の検出において顕著な向上を示した。

ABSTRACT

It is well known that contextual and multi-scale representations are important for accurate visual recognition. In this paper we present the Inside-Outside Net (ION), an object detector that exploits information both inside and outside the region of interest. Contextual information outside the region of interest is integrated using spatial recurrent neural networks. Inside, we use skip pooling to extract information at multiple scales and levels of abstraction. Through extensive experiments we evaluate the design space and provide readers with an overview of what tricks of the trade are important. ION improves state-of-the-art on PASCAL VOC 2012 object detection from 73.9% to 76.4% mAP. On the new and more challenging MS COCO dataset, we improve state-of-art-the from 19.7% to 33.1% mAP. In the 2015 MS COCO Detection Challenge, our ION model won the Best Student Entry and finished 3rd place overall. As intuition suggests, our detection results provide strong evidence that context and multi-scale representations improve small object detection.

研究の動機と目的

• 領域の外側の文脈情報を統合することで、オブジェクト検出精度を向上させること。
• 複数の畳み込み層からのマルチスケール特徴量を活用することで、小さな物体の特徴表現を強化すること。
• 空間的再帰ニューラルネットワーク（RNN）が長距離の空間的文脈を捉える有効性を評価すること。
• RNNの深さ、正規化、損失関数といった設計選択を体系的に分析し、性能最適化を図ること。
• 文脈情報とマルチスケール特徴量の組み合わせが相乗効果をもたらすか、それとも独立した利点を提供するかを実証すること。

提案手法

• VGG16の複数の層（conv3, conv4, conv5）からのROIプーリングによりマルチスケール特徴量を抽出し、それらを連結、L2正規化、1x1畳み込みによる次元削減を施す。
• 2層構造の4方向入力・ゲート付き再帰ネットワーク（IRNN）を用い、画像全体にわたる空間的文脈を伝搬させる。各セルは4方向の隣接セルからの情報を集約する。
• 低レベルの畳み込み特徴量からのスルー接続を適用し、小さな物体検出に不可欠な高分解能の空間的詳細を保持する。
• 上位のIRNN層をセグメンテーション損失で監視することで、特徴量の質と一般化性能を向上させる。
• 各領域の注目（ROI）を全結合層で処理し、クラス確率（ソフトマックス）とボクセルボックスの調整を予測する。
• 動的ROIプーリングを用い、1回の順伝播で1画像あたり2000件の候補を評価可能にし、効率的なエンドツーエンド学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 領域の外側の文脈情報を統合することで、オブジェクト検出性能はどの程度向上するか？
• RQ2 低レベル畳み込み層からのマルチスケール特徴量は、小さな物体の検出にどの程度寄与するか？
• RQ3 オブジェクト検出の文脈的長距離情報抽出に最適な空間的RNNアーキテクチャは何か？
• RQ4 RNNの層数、隠れユニット数、再帰遷移といった設計選択が検出精度に与える影響は？
• RQ5 文脈情報とマルチスケール特徴量の組み合わせは相乗効果をもたらすのか、それとも独立した利点を提供するのか？

主な発見

• IONはPASCAL VOC 2012で76.4%のmAPを達成し、従来のSOTA（73.9%）を上回った。
• より困難なMS COCOデータセットでは、mAPが19.7%から33.1%に向上し、新たなSOTAを樹立した。
• 2015年のMS COCO検出コンテストでベスト・スタディエントエントリーを受賞し、総合3位となった。
• 512個の隠れユニットを有する2段階のIRNN層に加え、学習可能な再帰遷移を適用した構成が最良の性能を示したが、再帰遷移を無効化（W_hh = I）してもほぼ同等の性能を達成した。
• 文脈特徴量は、隠れ物体（例：いす）の検出に特に有効であった。一方、マルチスケール特徴量は、小さな物体（例：鉢植え）の検出を顕著に向上させた。
• 両者の特徴量を組み合わせることで相乗効果が得られ、特に小さな物体や混雑したシーンにおける改善が顕著に観察された。