[논문 리뷰] Decoupled Classification Refinement: Hard False Positive Suppression for Object Detection

Bowen Cheng, Yunchao Wei외 5명|arXiv (Cornell University)|2018. 10. 05.

Advanced Neural Network Applications참고 문헌 53인용 수 43

한 줄 요약

본 논문은 Decoupled Classification Refinement (DCR)를 도입하여 분류를 로컬라이제이션과 분리해 어려운 오탐(false positives)을 억제하고 VOC 및 COCO 벤치마크에서 mAP를 향상시킨 모듈을 제시한다.

ABSTRACT

In this paper, we analyze failure cases of state-of-the-art detectors and observe that most hard false positives result from classification instead of localization and they have a large negative impact on the performance of object detectors. We conjecture there are three factors: (1) Shared feature representation is not optimal due to the mismatched goals of feature learning for classification and localization; (2) multi-task learning helps, yet optimization of the multi-task loss may result in sub-optimal for individual tasks; (3) large receptive field for different scales leads to redundant context information for small objects. We demonstrate the potential of detector classification power by a simple, effective, and widely-applicable Decoupled Classification Refinement (DCR) network. In particular, DCR places a separate classification network in parallel with the localization network (base detector). With ROI Pooling placed on the early stage of the classification network, we enforce an adaptive receptive field in DCR. During training, DCR samples hard false positives from the base detector and trains a strong classifier to refine classification results. During testing, DCR refines all boxes from the base detector. Experiments show competitive results on PASCAL VOC and COCO without any bells and whistles. Our codes are available at: https://github.com/bowenc0221/Decoupled-Classification-Refinement.

연구 동기 및 목표

• 최신 영역 기반 탐지기의 실패 모드를 분석하여 분류가 로컬라이제이션이 아니라 hard false positives를 초래하는 위치를 식별한다.
• 기본 탐지기의 로컬라이제이션을 바꾸지 않으면서 분류를 정제하는 분리된 아키텍처를 제안한다.
• 분리된 분류가 Faster RCNN 계열의 다양한 변형과 대표 벤치마크 전반에서 일관된 성능 향상을 달성함을 보여준다.

제안 방법

• 기본 탐지기와 병렬로 분리된 분류 네트워크를 배치하는 Decoupled Classification Refinement (DCR)을 제안한다.
• DCR를 위해 조기 단계에서 ROI 처리를 적용해 객체 크기에 맞는 맥락에 집중하도록 적응적 수용 영역을 사용한다.
• 기본 탐지기로부터 high-confidence 오류를 샘플링하고 이를 수정하는 강력한 분류기를 학습시켜 DCR을 학습한다.
• 두 가지 DCR 변형을 개발한다: DCR V1 (naïve, decoupled, separate training) 및 DCR V2 (faster, end-to-end with shared backbone and top-sampling strategy).
• 속도와 정확도의 균형을 맞추기 위해 DCR V2에서 백본 특징의 부분 공유를 시행하고 적응적 수용 영역을 가능하게 하기 위해 조기 네트워크 단계에 ROI 풀링을 배치한다.
• 학습에서 L = L_RPN + L_RCNN + L_DCRV2 (for DCR V2)와 같은 결합 손실을 최적화한다.
• 탐지의 상위 점수들을 처리하여 DCRV2 런타임을 줄이는 추론 기술(top-sampling)을 제공한다.

실험 결과

연구 질문

• RQ1 분리된 분류가 로컬라이제이션으로 인한 hard false positives를 줄일 수 있는가?
• RQ2 적응적 수용 영역과 부분 특성 공유가 탐지 성능 및 속도를 개선하는가?
• RQ3 DCR V1과 DCR V2는 표준 벤치마크에서 정확도와 효율성 면에서 어떻게 비교되는가?

주요 결과

• DCR은 강력한 베이스라인에서 hard false positives를 크게 줄이고 PASCAL VOC 2007에서의 mAP를 상승시킨다(약 2.7% 포인트 언급).
• DCR은 ResNet-101 백본으로 PASCAL VOC 2007에서 84.2%의 mAP, PASCAL VOC 2012에서 81.2%의 mAP를 달성한다.
• COCO test-dev에서 DCR은 43.5%의 mAP를 달성한다.
• 로컬라이제이션에서 분리된 분류를 도입하고 적응적 수용 영역을 사용하면 완전히 공유된 특징 아키텍처보다 더 나은 성능을 낸다(일부 설정에서 최대 4.6%의 mAP 향상으로 나타난 Ablation).
• top-sampling을 사용하는 DCR V2는 속도-정확도 트레이드를 긍정적으로 보여주며 Faster RCNN 베이스라인에 근접하면서 정확도를 향상시킨다.