[論文レビュー] Dual Refinement Networks for Accurate and Fast Object Detection in Real-World Scenes

Xingyu Chen, Junzhi Yu+3 more|arXiv (Cornell University)|Jul 23, 2018

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、静的および動的シーンにおける正確でリアルタイムなオブジェクト検出を実現するため、デュアルリファインメントネットワーク（DRNet）、タイムスパンリファインメントネットワーク（TRNet）、タイムスパンデュアルリファインメントネットワーク（TDRNet）を提案する。アンカーリファインメント、特徴位置リファインメント、マルチ変形ヘッドを時間的伝搬とソフトリファインメントと統合することで、VOC 2007で84.4% mAP、VOC 2012で83.6%、VID 2017で69.4%、COCOで42.4% APという最先端の精度を達成しながらも、高い推論速度を維持している。

ABSTRACT

Object detection has been vigorously investigated for years but fast accurate detection for real-world scenes remains a very challenging problem. Overcoming drawbacks of single-stage detectors, we take aim at precisely detecting objects for static and temporal scenes in real time. Firstly, as a dual refinement mechanism, a novel anchor-offset detection is designed, which includes an anchor refinement, a feature location refinement, and a deformable detection head. This new detection mode is able to simultaneously perform two-step regression and capture accurate object features. Based on the anchor-offset detection, a dual refinement network (DRNet) is developed for high-performance static detection, where a multi-deformable head is further designed to leverage contextual information for describing objects. As for temporal detection in videos, temporal refinement networks (TRNet) and temporal dual refinement networks (TDRNet) are developed by propagating the refinement information across time. We also propose a soft refinement strategy to temporally match object motion with the previous refinement. Our proposed methods are evaluated on PASCAL VOC, COCO, and ImageNet VID datasets. Extensive comparisons on static and temporal detection verify the superiority of DRNet, TRNet, and TDRNet. Consequently, our developed approaches run in a fairly fast speed, and in the meantime achieve a significantly enhanced detection accuracy, i.e., 84.4% mAP on VOC 2007, 83.6% mAP on VOC 2012, 69.4% mAP on VID 2017, and 42.4% AP on COCO. Ultimately, producing encouraging results, our methods are applied to online underwater object detection and grasping with an autonomous system. Codes are publicly available at this https URL.

研究の動機と目的

• 現実世界の静的および動的シーンにおける高精度かつリアルタイムなオブジェクト検出を達成するという課題に対処すること。
• 単段階検出器の限界を克服するため、局所化精度と特徴表現を向上させるデュアルリファインメント機構を導入すること。
• 時間的シーケンスにおける検出のロバスト性を向上させるために、フレーム間でリファインメント情報を伝搬すること。
• 自律水中オブジェクト検出やロボットハンドリングなどの現実世界の応用分野への実用的導入を可能にすること。

提案手法

• アンカーオフセット検出機構を提案し、アンカーリファインメントと特徴位置リファインメントによる2段階の回帰を実現する。
• 文脈的特徴学習を強化し、オブジェクト表現を向上させるためにマルチ変形ヘッドを導入する。
• アンカーオフセット検出とマルチ変形ヘッドを組み合わせることで、高性能な静的検出を実現するDRNetを構築する。
• 時間的フレーム間でのリファインメント情報伝搬を活用し、動的検出に適したTRNetとTDRNetを設計する。
• 時間的整合性を保つために、オブジェクトの運動を過去のリファインメント結果とソフトに一致させる戦略を採用する。
• 可変畳み込みニューラルネットワークを用いて、空間的および時間的次元で関連する特徴に適応的に注目する。

実験結果

リサーチクエスチョン

• RQ1 デュアルリファインメント機構は、現実世界のシーンにおいて推論速度を犠牲にせずに検出精度を向上させることができるか？
• RQ2 空間的および時間的特徴リファインメントを効果的に統合することで、堅牢な動的オブジェクト検出が可能になるか？
• RQ3 アンカーリファインメントと特徴位置リファインメントは、単段階検出器における局所化精度をどの程度向上させるか？
• RQ4 リファインメント情報の時間的伝搬は、フレーム間での検出の一貫性を向上させるか？
• RQ5 ソフトリファインメント戦略は、オブジェクトの運動を扱う際、剛体トラッキングに比べてどのように優れているか？

主な発見

• DRNetはPASCAL VOC 2007で84.4% mAPを達成し、静的画像検出において最先端の精度を示した。
• PASCAL VOC 2012では83.6% mAPを達成し、異なるテストスプリットにわたる強力な一般化能力を確認した。
• ImageNet VID 2017の動的オブジェクト検出において、TDRNetは69.4% mAPを達成し、時間的整合性と精度の両面で既存手法を上回った。
• COCOデータセットでは42.4% APに達し、大規模かつ複雑なオブジェクト検出ベンチマークでも優れた性能を示した。
• 提案手法は、オンライン水中オブジェクト検出およびロボットハンドリングへの実装に成功し、現実世界への適用可能性を実証した。
• システム全体は高速に動作し、高精度であるにもかかわらず、リアルタイムの自律システムに適している。