[논문 리뷰] Object Detection Networks on Convolutional Feature Maps

Shaoqing Ren, Kaiming He외 3명|arXiv (Cornell University)|2015. 04. 23.

Advanced Neural Network Applications참고 문헌 39인용 수 35

한 줄 요약

이 논문은 ResNet 및 Faster R-CNN와 같은 강력한 특징 추출기와 함께 사용할 때 객체 검출 정확도를 크게 향상시키는 컨volutional 특징 맵 위의 네트워크(NoCs)를 소개한다. 주요 기여는 깊이 있는 컨volutional 분류기가 최첨단 성능을 달성하는 데 필수적임을 입증한 것으로, 조건이 더 좋은 특징 추출기와 함께 사용하더라도 단순한 다층 퍼셉트론(MLP)보다도 우수한 성능을 내는 것을 보여준다.

ABSTRACT

Most object detectors contain two important components: a feature extractor and an object classifier. The feature extractor has rapidly evolved with significant research efforts leading to better deep convolutional architectures. The object classifier, however, has not received much attention and many recent systems (like SPPnet and Fast/Faster R-CNN) use simple multi-layer perceptrons. This paper demonstrates that carefully designing deep networks for object classification is just as important. We experiment with region-wise classifier networks that use shared, region-independent convolutional features. We call them "Networks on Convolutional feature maps" (NoCs). We discover that aside from deep feature maps, a deep and convolutional per-region classifier is of particular importance for object detection, whereas latest superior image classification models (such as ResNets and GoogLeNets) do not directly lead to good detection accuracy without using such a per-region classifier. We show by experiments that despite the effective ResNets and Faster R-CNN systems, the design of NoCs is an essential element for the 1st-place winning entries in ImageNet and MS COCO challenges 2015.

연구 동기 및 목표

• 특징 추출기와 무관하게 영역 기반 분류기의 역할을 조사하기 위해.
• 표준 다층 퍼셉트론(MLP)을 초월해 더 깊고 더 정교한 분류기가 검출 정확도 향상에 기여할 수 있는지 판단하기 위해.
• 공유된 컨volutional 특징 맵 위에서 컨볼루션 네트워크를 영역 기반 분류기로 사용할 경우의 효율성을 탐색하기 위해.
• 최첨단 이미지 분류 모델(예: ResNets, GoogLeNets)이 적절한 영역 기반 분류 설계 없이선 직접적으로 더 나은 검출 정확도를 내지 못함을 입증하기 위해.
• Faster R-CNN에 완전히 컨볼루션 기반 이미지 분류기를 통합하기 위한 실용적인 프레임워크를 제공하기 위해.

제안 방법

• RoI 풀링을 통해 영역 기반 특징을 추출하고, 이를 깊이 있는 공유 분류기 네트워크로 분류하는 '컨볼루션 특징 맵 위의 네트워크'(NoCs)를 제안한다.
• 세 가지 NoC 패밀리 설계: 얕은 MLP, 더 깊은 MLP(3fc), 스트라이드 16의 중간 특징 맵을 사용하는 깊이 있는 컨볼루션 NoCs.
• 더 깊은 네트워크에서 스트라이드를 32에서 16으로 줄일 때 수신장 크기를 유지하기 위해 'à trous'(홀) 알고리즘을 적용한다.
• ResNet-101, GoogleNet, VGG-16를 백본 특징 추출기로 사용하여, NoCs를 포함한 전체 Faster R-CNN 시스템을 엔드 투 엔드로 훈련한다.
• 공간 해상도를 유지하고 효과적인 컨볼루션 분류를 가능하게 하기 위해, 예를 들어 ResNet의 res4b와 같은 중간 레이어에서 RoI 풀링을 적용한다.
• 다양한 NoC 아키텍처 간의 검출 성능를 비교하기 위해 MS COCO 및 PASCAL VOC 벤치마크에서 mAP 및 AP@0.5/0.75를 사용한다.

실험 결과

연구 질문

• RQ1 단순한 다층 퍼셉트론과 비교해 더 깊고 컨볼루션 기반의 영역 기반 분류기가 객체 검출 정확도를 크게 향상시키는가?
• RQ2 ResNets 및 GoogLeNets와 같은 최첨단 이미지 분류 모델이 적절한 영역 기반 분류기가 없이도 검출 성능 향상에 기여할 수 있는가?
• RQ3 특징 맵의 공간 해상도(즉, 스트라이드)가 검출 성능에 결정적인 요소인가? 그리고 이는 NoC 설계와 어떻게 상호작용하는가?
• RQ4 다양한 NoC 아키텍처(MLP, ConvNet, maxout-ConvNet)는 국소화 및 분류 정확도 측면에서 어떻게 비교되는가?
• RQ5 깊이 있는 컨볼루션 기반 NoC가 ImageNet 및 MS COCO 2015와 같은 주요 대회에서 최고 성능을 내는 검출기의 성공에 얼마나 기여하는가?

주요 결과

• ResNet-101를 사용할 때 1fc 대신 3층의 완전 연결(3fc) NoC를 사용함으로써 MS COCO에서 AP가 21.3%에서 26.3%로 향상되었으며, 이는 영역 기반 분류기의 깊이가 매우 중요함을 보여준다.
• 1fc NoC를 깊이 있는 컨볼루션 NoC(res5a–5c + fc)로 교체함으로써 MS COCO에서 AP가 27.2%로 상승했고, AP@0.75에서 1.7점 향상되어 국소화 성능 향상이 확인되었다.
• 더 깊은 NoC는 국소화 정확도를 크게 향상시켰다(예: +1.7 AP@0.75), 반면 AP@0.5에는 거의 영향을 주지 않아, 정밀한 바운딩 박스 예측에 기여하는 역할임을 입증했다.
• 비록 ImageNet의 상위-1 정확도가 뛰어나도, VGG-16는 더 낮은 특징 맵 스트라이드(16 vs. 32) 덕분에 순수한 Faster R-CNN에서 ResNet 및 GoogleNet을 능가했으며, 이는 공간 해상도의 중요성을 강조한다.
• 추론 분석 결과, 강력한 특징 추출기(예: ResNets)를 사용하더라도 깊이 있고 컨볼루션 기반의 NoC가 최고 수준의 검출 성능을 달성하기 위해 필수적임을 확인했다.
• 깊이 있는 컨볼루션 기반 NoC와 ResNet-101을 사용한 최종 시스템은 MS COCO에서 27.2% mAP를 달성했으며, 이는 ImageNet 및 MS COCO 2015 대회에서 1등 성과의 기초가 되었다.