[논문 리뷰] Revisiting RCNN: On Awakening the Classification Power of Faster RCNN

Bowen Cheng, Yunchao Wei외 4명|arXiv (Cornell University)|2018. 03. 19.

Advanced Neural Network Applications인용 수 25

한 줄 요약

이 논문은 Faster R-CNN의 분류 정확도를 향상시키기 위해 기본 검출기에서 유도된 고신뢰도 오분류(하이퍼포지티브)에 대해 별도의 RCNN 스타일 분류기로 훈련하는 방법인 분리된 분류 정밀화(DCR)를 제안한다. DCR는 Faster R-CNN의 아키텍처를 변경하지 않고도 고신뢰도 오분류를 크게 감소시켜 PASCAL VOC 및 COCO에서 최신 기준(mAP)을 달성한다.

ABSTRACT

Recent region-based object detectors are usually built with separate classification and localization branches on top of shared feature extraction networks. In this paper, we analyze failure cases of state-of-the-art detectors and observe that most hard false positives result from classification instead of localization. We conjecture that: (1) Shared feature representation is not optimal due to the mismatched goals of feature learning for classification and localization; (2) multi-task learning helps, yet optimization of the multi-task loss may result in sub-optimal for individual tasks; (3) large receptive field for different scales leads to redundant context information for small objects.We demonstrate the potential of detector classification power by a simple, effective, and widely-applicable Decoupled Classification Refinement (DCR) network. DCR samples hard false positives from the base classifier in Faster RCNN and trains a RCNN-styled strong classifier. Experiments show new state-of-the-art results on PASCAL VOC and COCO without any bells and whistles.

연구 동기 및 목표

• 강력한 국소화 및 다중 태스크 학습에도 불구하고 최신 기준 객체 검출기인 Faster R-CNN가 여전히 고신뢰도 오분류를 앓는 이유를 탐구하기 위해.
• 공유된 특징 학습에서 분류와 국소화 목표 간의 불일치로 인해 영역 기반 검출기에서 분류 실패의 근본 원인을 분석하기 위해.
• Faster R-CNN 스타일 검출기의 전체 분류 잠재력을 분류와 국소화를 분리하고 전용 분류기로 정밀화함으로써 해방할 수 있는지 탐색하기 위해.
• 특히 고신뢰도 오분류—성능에 비례해 큰 영향을 미치는 고신뢰도 오분류—에 초점을 맞춰 억제함으로써 검출 mAP를 향상시키기 위해.

제안 방법

• DCR는 기본 Faster R-CNN 검출기의 출력에서 하드 오분류(고신뢰도, 잘못된 검출)를 샘플링한다.
• 이러한 하드 오분류에 대해 별도의 RCNN 스타일 딥 네트워크를 훈련시어 더 강력하고 구분력 있는 분류기를 학습한다.
• DCR 모듈은 기본 Faster R-CNN과 완전히 분리되어 있으며, 두 네트워크 간에 공유 파라미터를 사용하지 않는다.
• DCR 분류기는 샘플된 하드 예제들에 대해 엔드 투 엔드로 훈련되며, 어려운 분류 영역과 진짜 객체 간의 구분을 향상시키는 데 집중한다.
• 최종 검출 결과는 Faster R-CNN의 영역 제안과 DCR 모듈의 정밀화된 분류 점수를 조합함으로써 도출된다.
• 이 방법은 플러그 앤 플레이 방식으로, 백본 또는 RPN을 수정하지 않고도 어떤 Faster R-CNN 기반 검출기에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 강력한 국소화 및 다중 태스크 학습에도 불구하고 고신뢰도 오분류가 Faster R-CNN의 mAP를 심각하게 떨어뜨리는 이유는 무엇인가?
• RQ2 분류와 국소화 간의 공유된 특징 표현이 이중 단계 검출기에서 분류 성능을 얼마나 악화시키는가?
• RQ3 하드 오분류에 대해 훈련된 분리된 전용 분류기가 아키텍처 변경 없이도 검출 정확도를 크게 향상시킬 수 있는가?
• RQ4 DCR 모듈은 오브제스트의 특성(예: 가림, 크기, 종횡비)에 민감도에 어떤 영향을 미치는가?
• RQ5 큰 수신장이 소형 객체 분류에 어떤 영향을 미치며, 국소화된 주의(attention)가 성능 향상에 기여할 수 있는가?

주요 결과

• Faster R-CNN가 모든 오분류를 수정할 수 있다면 PASCAL VOC 2007에서 이론적으로 86.8%의 mAP를 달성할 수 있었을 것이며, 실제 성능은 79.8%였다.
• 오직 고신뢰도 오분류(임계값 이상)만 수정해도 mAP가 3.0% 향상되었으며, 이는 그들이 성능에 비례해 큰 영향을 미친다는 것을 보여준다.
• DCR는 PASCAL VOC 2007 테스트 세트에서 하드 오분류 수를 약 3배 감소시켜 검출 품질을 크게 향상시켰다.
• DCR 모듈은 정규화된 AP를 향상시키고, 오브제스트의 특성(예: 가림, 크기)에 대한 민감도를 감소시켜 더 뛰어난 내구성을 보였다.
• COCO에서 DCR는 어떤 추가 기능 없이도 최신 기준 mAP를 달성했으며, 동일한 백본을 사용한 기존 방법들을 능가했다.
• 1080 Ti GPU에서 추론 시간이 1.39초/인퍼런스로 기본 모델보다 느리지만, 이는 상당한 정확도 향상의 결과이며, 향후 작업에서 속도 최적화를 목표로 하고 있다.