[논문 리뷰] Exploring Multi-Branch and High-Level Semantic Networks for Improving Pedestrian Detection

Jiale Cao, Yanwei Pang외 1명|arXiv (Cornell University)|2018. 04. 03.

Video Surveillance and Tracking Methods참고 문헌 58인용 수 6

한 줄 요약

이 논문은 기초 CNN을 동일한 깊이를 가진 병렬 브랜치로 분할하여 특성 맵 간의 일관된 고수준 의미론을 확보함으로써 보다 향상된 보행자 검출을 위한 다중 브랜치 및 고수준 의미론 네트워크(MHN)를 제안한다. 서로 다른 수신장과 스킵 연결을 활용함으로써 MHN은 다중 척도 검출, 특히 소형 보행자에 대한 검출 성능을 향상시키면서도 파rameter 효율성을 유지한다. 이는 KITTI, Caltech, Citypersons 및 COCO 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

To better detect pedestrians of various scales, deep multi-scale methods usually detect pedestrians of different scales by different in-network layers. However, the semantic levels of features from different layers are usually inconsistent. In this paper, we propose a multi-branch and high-level semantic network by gradually splitting a base network into multiple different branches. As a result, the different branches have the same depth and the output features of different branches have similarly high-level semantics. Due to the difference of receptive fields, the different branches are suitable to detect pedestrians of different scales. Meanwhile, the multi-branch network does not introduce additional parameters by sharing convolutional weights of different branches. To further improve detection performance, skip-layer connections among different branches are used to add context to the branch of relatively small receptive filed, and dilated convolution is incorporated into part branches to enlarge the resolutions of output feature maps. When they are embedded into Faster RCNN architecture, the weighted scores of proposal generation network and proposal classification network are further proposed. Experiments on KITTI dataset, Caltech pedestrian dataset, and Citypersons dataset demonstrate the effectiveness of proposed method. On these pedestrian datasets, the proposed method achieves state-of-the-art detection performance. Moreover, experiments on COCO benchmark show the proposed method is also suitable for general object detection.

연구 동기 및 목표

• 기존 보행자 검출을 위한 특성 피라미드 네트워크에서 특성 맵 간의 의미 수준 불일치 문제를 해결한다.
• 더 깊은 브랜치로부터의 맥락 정보를 고해상도 특성에 통합하여 소형 보행자에 대한 검출 성능을 향상시킨다.
• 다중 브랜치 아키텍처에서 병렬 브랜치 간에 컨볼루션 가중치를 공유함으로써 파rameter 효율성을 유지한다.
• COCO 벤치마크에서의 평가를 통해 이 방법을 일반 객체 검출로 확장한다.
• 검출 파이프라인의 영역 제안 네트워크(RPN) 및 Fast R-CNN 분류 헤드에서 제안 생성 및 분류 성능을 향상시키기 위해 Faster R-CNN에 가중치 스코어를 도입한다.

제안 방법

• 풀링 레이어 이전에 기초 CNN을 점진적으로 다중 병렬 브랜치로 분할하여 모든 브랜치가 동일한 깊이를 가지도록 하여 유사한 의미 수준을 확보한다.
• 브랜치 간의 서로 다른 수신장을 활용하여 다양한 척도의 보행자를 검출하며, 더 깊은 브랜치에서는 더 큰 수신장을 적용한다.
• 저해상도이자 큰 수신장을 가진 브랜치에서 고해상도이자 작은 수신장을 가진 브랜치로 스킵 레이어 연결을 적용하여 맥락 정보를 통합한다.
• 특정 브랜치에 팽창 컨볼루션을 통합하여 공간 해상도를 유지하고 특성 표현을 향상시킨다.
• MHN과 MHN-D를 Faster R-CNN에 통합하기 위해 영역 제안 네트워크(RPN) 및 Fast R-CNN 분류 헤드에 가중치 스코어를 도입한다.
• detectron 프레임워크를 사용하여 KITTI, Caltech, Citypersons 및 COCO 데이터셋에서 표준 프rotocol에 따라 훈련 및 평가를 수행한다.

실험 결과

연구 질문

• RQ1 브랜치 간에 동일한 깊이를 가진 다중 브랜치 네트워크가 다중 척도 보행자 검출을 위한 더 일관된 고수준 의미론적 특징을 달성할 수 있는가?
• RQ2 큰 수신장을 가진 브랜치에서 작은 수신장을 가진 브랜치로 스킵 연결을 추가하면 소형 보행자 검출 성능이 향상되는가?
• RQ3 특정 브랜치에 팽창 컨볼루션을 적용함으로써 파rameter 수를 증가시키지 않고도 공간 해상도와 검출 성능을 향상시킬 수 있는가?
• RQ4 제안된 MHN 아키텍처가 FPN 및 MSCNN과 같은 기존 특성 피라미드 방법보다 보행자 검출 벤치마크에서 우월한 성능을 보일 수 있는가?
• RQ5 MHN 프레임워크는 COCO와 같은 대규모 벤치마크에서 일반 객체 검출에 대해 이식 가능하고 효과적인가?

주요 결과

• KITTI 데이터셋에서 MHN은 평균 정밀도(AP) 76.58%를 기록하여 FPN(75.42%)과 MSCNN(74.83%)을 각각 1.16점과 1.75점 이상 상회한다.
• Caltech 보행자 데이터셋에서 MHN은 66.76%의 AP를 기록하여 FPN(66.14%)과 MSCNN(65.20%)을 각각 0.62점과 1.56점 초월한다.
• Citypersons에서 MHN은 37.19%의 AP를 기록하여 FPN(35.91%)과 MSCNN(35.55%)을 각각 1.28점과 1.64점 이상 상회한다.
• COCO test-dev에서 MHN은 ResNet101 백본을 사용하여 44.1%의 AP를 달성하여 Mask R-CNN(39.8%)을 4.3점 초월하며, 소형 객체 검출에서는 5.4% 향상되었다.
• 팽창 컨볼루션과 스킵 연결을 통합한 MHN-D는 특히 소형 객체에서 성능을 더욱 향상시키며, ResNet101 기반 소형 보행자 검출에서 FPN 대비 3.38%의 AP 향상을 기록한다.
• Faster R-CNN에 도입된 가중치 스코어 메커니즘은 ResNet50 기반 COCO에서 1.30%의 AP 향상을, ResNet101 기반에서는 1.79%의 AP 향상을 기록하여 종단 간 검출에서의 효과성을 입증한다.