[논문 리뷰] Dual Refinement Networks for Accurate and Fast Object Detection in Real-World Scenes

Xingyu Chen, Junzhi Yu외 3명|arXiv (Cornell University)|2018. 07. 23.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 정적 및 영상 환경에서 정확하고 실시간 객체 검출을 위한 듀얼 리파인먼트 네트워크(DRNet), 타임스탬프 리파인먼트 네트워크(TRNet), 타임스탬프 듀얼 리파인먼트 네트워크(TDRNet)를 제안한다. 앵커 리파인먼트, 특징 위치 리파인먼트, 다중 비틀림 헤드를 시간적 전파 및 소프트 리파인먼트와 통합함으로써, VOC 2007에서 84.4% mAP, VOC 2012에서 83.6%, VID 2017에서 69.4%, COCO에서 42.4% AP를 기록하며 최신 기술 수준의 정확도를 달성하면서도 높은 추론 속도를 유지한다.

ABSTRACT

Object detection has been vigorously investigated for years but fast accurate detection for real-world scenes remains a very challenging problem. Overcoming drawbacks of single-stage detectors, we take aim at precisely detecting objects for static and temporal scenes in real time. Firstly, as a dual refinement mechanism, a novel anchor-offset detection is designed, which includes an anchor refinement, a feature location refinement, and a deformable detection head. This new detection mode is able to simultaneously perform two-step regression and capture accurate object features. Based on the anchor-offset detection, a dual refinement network (DRNet) is developed for high-performance static detection, where a multi-deformable head is further designed to leverage contextual information for describing objects. As for temporal detection in videos, temporal refinement networks (TRNet) and temporal dual refinement networks (TDRNet) are developed by propagating the refinement information across time. We also propose a soft refinement strategy to temporally match object motion with the previous refinement. Our proposed methods are evaluated on PASCAL VOC, COCO, and ImageNet VID datasets. Extensive comparisons on static and temporal detection verify the superiority of DRNet, TRNet, and TDRNet. Consequently, our developed approaches run in a fairly fast speed, and in the meantime achieve a significantly enhanced detection accuracy, i.e., 84.4% mAP on VOC 2007, 83.6% mAP on VOC 2012, 69.4% mAP on VID 2017, and 42.4% AP on COCO. Ultimately, producing encouraging results, our methods are applied to online underwater object detection and grasping with an autonomous system. Codes are publicly available at this https URL.

연구 동기 및 목표

• 실세계의 정적 및 영상 환경에서 높은 정확도와 실시간 성능을 동시에 확보하는 데 도전하는 것.
• 단일 단계 검출기의 한계를 극복하기 위해 국소화 및 특징 표현을 향상시키는 듀얼 리파인먼트 메커니즘을 도입하는 것.
• 영상 프레임 간의 보존 정보를 전파하여 시간적 시퀀스에서의 검출 안정성을 향상시키는 것.
• 자율 수중 객체 검출 및 로봇 그립핑과 같은 실세계 응용 분야에서의 실용적 구현을 가능하게 하는 것.

제안 방법

• 앵커 리파인먼트와 특징 위치 리파인먼트를 통해 이중 단계 회귀를 수행하는 앵커 오프셋 검출 메커니즘을 제안한다.
• 개선된 객체 표현을 위한 맥락적 특징 학습을 향상시키기 위해 다중 비틀림 헤드를 도입한다.
• 앵커 오프셋 검출 기법과 다중 비틀림 헤드를 결합하여 고성능 정적 검출을 위한 DRNet를 개발한다.
• 시간적 프레임 간의 리파인먼트 정보 전파를 통해 영상 검출을 위한 TRNet 및 TDRNet를 설계한다.
• 이전 리파인먼트 결과와 일치하는 객체 운동을 시간적으로 정렬하기 위해 소프트 리파인먼트 전략을 활용한다.
• 공간적 및 시간적 차원에서 관련 특징에 자동으로 집중할 수 있도록 비틀림 컨볼루션 네트워크를 활용한다.

실험 결과

연구 질문

• RQ1 실세계 환경에서 추론 속도를 저하시키지 않으면서 듀얼 리파인먼트 메커니즘이 검출 정확도를 향상시킬 수 있는가?
• RQ2 공간적 및 시간적 특징 리파인먼트를 효과적으로 통합하여 강력한 영상 객체 검출을 달성할 수 있는가?
• RQ3 앵커 리파인먼트 및 특징 위치 리파인먼트가 단일 단계 검출기에서 국소화 정밀도를 얼마나 향상시키는가?
• RQ4 리파인먼트 정보의 시간적 전파가 영상 프레임 간 검출 일관성 향상에 기여하는가?
• RQ5 소프트 리파인먼트 전략은 고정된 추적 방식에 비해 영상에서의 객체 운동 처리에 더 나은 성능을 보이는가?

주요 결과

• DRNet는 PASCAL VOC 2007에서 84.4% mAP를 기록하여 정적 이미지 검출에서 최신 기술 수준의 정확도를 입증한다.
• PASCAL VOC 2012에서 83.6% mAP를 달성하여 다양한 테스트 분할에 대한 강력한 일반화 능력을 확인한다.
• ImageNet VID 2017 영상 객체 검출에서 TDRNet는 69.4% mAP를 기록하며 시간적 일관성과 정확도 면에서 기존 방법을 능가한다.
• COCO 데이터셋에서 42.4% AP를 달성하여 대규모 및 복잡한 객체 검출 벤치마크에서 뛰어난 성능을 보인다.
• 제안된 방법들은 온라인 수중 객체 검출 및 로봇 그립핑에 성공적으로 구현되어 실세계 적용 가능성을 입증한다.
• 전체 시스템은 높은 속도로 작동하여 높은 정확도를 유지하면서도 실시간 자율 시스템에 적합하다.