[論文レビュー] Attentive Contexts for Object Detection

Jianan Li, Yunchao Wei+5 more|arXiv (Cornell University)|Mar 24, 2016

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文では、アテンション機構を用いてグローバルおよびローカルの文脈的特徴を統合することで、Fast R-CNNなどの領域ベースのCNNを強化する、新しいオブジェクト検出フレームワークAC-CNNを提案する。スタックドLSTMベースのアテンションネットワークを用いて有用なグローバル文脈を強調し、提案領域の周囲の特徴を豊かにするマルチスケール文脈化モジュールを採用することで、PASCAL VOC 2007および2012においてそれぞれ2.0%および2.2%のmAP向上を達成した。

ABSTRACT

Modern deep neural network based object detection methods typically classify candidate proposals using their interior features. However, global and local surrounding contexts that are believed to be valuable for object detection are not fully exploited by existing methods yet. In this work, we take a step towards understanding what is a robust practice to extract and utilize contextual information to facilitate object detection in practice. Specifically, we consider the following two questions: "how to identify useful global contextual information for detecting a certain object?" and "how to exploit local context surrounding a proposal for better inferring its contents?". We provide preliminary answers to these questions through developing a novel Attention to Context Convolution Neural Network (AC-CNN) based object detection model. AC-CNN effectively incorporates global and local contextual information into the region-based CNN (e.g. Fast RCNN) detection model and provides better object detection performance. It consists of one attention-based global contextualized (AGC) sub-network and one multi-scale local contextualized (MLC) sub-network. To capture global context, the AGC sub-network recurrently generates an attention map for an input image to highlight useful global contextual locations, through multiple stacked Long Short-Term Memory (LSTM) layers. For capturing surrounding local context, the MLC sub-network exploits both the inside and outside contextual information of each specific proposal at multiple scales. The global and local context are then fused together for making the final decision for detection. Extensive experiments on PASCAL VOC 2007 and VOC 2012 well demonstrate the superiority of the proposed AC-CNN over well-established baselines. In particular, AC-CNN outperforms the popular Fast-RCNN by 2.0% and 2.2% on VOC 2007 and VOC 2012 in terms of mAP, respectively.

研究の動機と目的

• オブジェクト検出のための効果的なグローバルおよびローカル文脈的情報の特定と活用法を調査すること。
• 既存手法が内部の提案特徴に依存するため、小規模、部分的遮蔽、低解像度のオブジェクト検出に不十分であるという限界を是正すること。
• アテンションベースのグローバル文脈モデリングとマルチスケールローカル文脈強化を統合した包括的なディープラーニングフレームワークの開発。
• 文脈に配慮した特徴学習が、特に困難なオブジェクトカテゴリにおいて検出性能を顕著に向上させることを実証すること。

提案手法

• AC-CNNフレームワークは、主に2つのサブネットワークで構成される：アテンションベースのグローバル文脈化（AGC）ネットワークとマルチスケールローカル文脈化（MLC）ネットワーク。
• AGCサブネットワークは、スタックド長短期記憶（LSTM）層を用い、入力画像内の顕著なグローバル文脈領域を段階的に強調するアテンションマップを逐次生成する。
• グローバル文脈特徴は、アテンションマップに基づいて特徴マップを的確に集約することで計算され、関連する背景や共起するオブジェクトに注目する。
• MLCサブネットワークは、事前に定義されたスケーリング比を用いて、提案領域の内部および外部から複数スケールで文脈特徴を抽出・統合することで、各提案の特徴を強化する。
• グローバルおよびローカル文脈特徴は連結され、最終的な分類およびバウンディングボックス回帰ヘッドに供給され、検出が行われる。
• モデルは、分類と局所化を同時に最適化するマルチタスク損失関数を用いて学習され、グローバル文脈はバウンディングボックス回帰から除外されるため、局所化の正確性が保持される。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト検出に有用なグローバル文脈的情報を自動的に特定し、強調する方法は何か？
• RQ2 提案領域の内部および外部のローカル文脈的情報を複数スケールで効果的に捉え、統合する方法は何か？
• RQ3 グローバルおよびローカル文脈を統合した場合、特に小規模または遮蔽されたオブジェクトに対して検出性能にどのような影響を与えるか？
• RQ4 なぜグローバル文脈を組み込むとバウンディングボックス回帰性能が低下するのか、そしてその対策は何か？

主な発見

• AC-CNNは、PASCAL VOC 2007テストセットでFast R-CNNに対して2.0%のmAP向上を達成し、VOC 2012では2.2%の向上を示した。
• 「bottle」、「pottedplant」、「chair」などの困難なカテゴリの誤検出を顕著に低減し、これらのクラスで検出精度が5%向上した。
• バウンディングボックス回帰からグローバル文脈を除外すると、mAPが0.1%向上した。これは、グローバル文脈が正確な局所化を妨げることがあることを確認した。
• 可視化解析の結果、アテンション機構が、オブジェクト分類を支援する意味的に関連する背景領域（例：道路、人）を的確に強調していることが示された。
• 定量的結果では、AC-CNNがFast R-CNNが見逃した小規模オブジェクトや遮蔽されたインスタンスに対しても優れた性能を示した。
• マルチスケールローカル文脈モジュールは、複雑または部分的な外観を示すオブジェクトに対して、より優れた特徴表現をもたらした。