[논문 리뷰] SAM-RCNN: Scale-Aware Multi-Resolution Multi-Channel Pedestrian Detection

Tianrui Liu, Mohamed Elmikaty외 1명|arXiv (Cornell University)|2018. 08. 07.

Advanced Neural Network Applications참고 문헌 22인용 수 12

한 줄 요약

이 논문은 다중 해상도 특징을 적응적으로 선택하여 특징의 추상화와 해상도를 균형 잡는 스케일 인식 다중 해상도 보행자 검출 프레임워크인 SAM-RCNN을 제안한다. SAM+에서 스케일 인식 특징 선택과 보완적인 의미론적/모서리 채널을 사용함으로써 Caltech 및 KITTI 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, IoU=0.5일 때 Caltech에서 4.9%의 미검출률을 기록하고 KITTI의 하드 세트에서 68.40%의 mAP를 달성하였다.

ABSTRACT

Convolutional neural networks (CNN) have enabled significant improvements in pedestrian detection owing to the strong representation ability of the CNN features. Recently, aggregating features from multiple layers of a CNN has been considered as an effective approach, however, the same approach regarding feature representation is used for detecting pedestrians of varying scales. Consequently, it is not guaranteed that the feature representation for pedestrians of a particular scale is optimised. In this paper, we propose a Scale-Aware Multi-resolution (SAM) method for pedestrian detection which can adaptively select multi-resolution convolutional features according to pedestrian sizes. The proposed SAM method extracts the appropriate CNN features that have strong representation ability as well as sufficient feature resolution, given the size of the pedestrian candidate output from a region proposal network. Moreover, we propose an enhanced SAM method, termed as SAM+, which incorporates complementary features channels and achieves further performance improvement. Evaluations on the challenging Caltech and KITTI pedestrian benchmarks demonstrate the superiority of our proposed method.

연구 동기 및 목표

• 기존의 CNN 기반 검출기들이 모든 보행자 크기에 대해 동일한 특징 표현을 사용하는 데서 비롯되는 한계를 해결하기 위해.
• 크기에 따라 최적의 특징 레이어를 선택하여 특징의 추상화와 해상도를 균형 잡는 방식으로 다양한 크기의 보행자에 대한 검출 성능을 향상시키기 위해.
• 나무 잎이나 신호등과 같은 어려운 음성 예측물체로부터의 오진 억제를 위해 보완적인 특징 채널(의미론적 및 모서리)을 통합함으로써 검출의 강건성을 향상시키기 위해.
• 특히 엄격한 IoU 및 하드 시나리오 평가 조건에서 표준 보행자 검출 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• SAM-RCNN 프레임워크는 영역 제안 네트워크(RPN)를 사용하여 보행자 후보 영역을 생성하고, 각 후보의 크기를 추정하여 최적의 CNN 특징 레이어를 결정한다.
• 작은 보행자에 대해서는 해상도가 높은 얕은 CNN 레이어(예: Conv3, Conv4)를 선택하고, 큰 보행자에 대해서는 더 깊은 레이어를 사용하여 강력한 추상화 능력을 확보한다.
• SAM+ 버전은 의미론적 및 모서리 특징 채널을 추가로 도입하며, 임의의 크기의 영역에서 특징을 추출하기 위해 새로운 RoI 히스토그램 풀링 방법을 사용한다.
• 주성분 분석(PCA)을 적용하여 다중 해상도 특징을 고정 길이의 벡터로 정규화하여 강화된 숲(BF) 분류기와의 호환성을 확보한다.
• BF 분류기는 정규화되지 않은 특징 진폭을 다룰 수 있는 유연성과 다중 해상도 및 다중 채널 특징의 효율적 통합을 가능하게 하므로 사용된다.
• 스케일 인식 특징 선택 전략은 크기에 따라 각 보행자 후보에 가장 적합한 특징 조합을 동적으로 할당함으로써 최적의 특징 융합을 피하고 하위 최적의 특징 융합을 방지한다.

실험 결과

연구 질문

• RQ1 보행자 크기에 따라 다중 해상도 CNN 특징을 적응적으로 선택하는 것이 고정된 특징 융합 방식보다 검출 정확도 향상에 기여하는가?
• RQ2 보완적인 의미론적 및 모서리 특징을 통합함으로써 검출 성능이 향상되는가, 특히 작은 또는 부분적으로 가려진 보행자에 대해 더 높은 성능 향상이 이루어지는가?
• RQ3 스케일 인식 특징 선택 전략이 나무 잎이나 신호등과 같은 비보행자 물체로부터 오진을 감소시키는 데 효과적인가?
• RQ4 엄격한 평가 기준(예: IoU=0.7 및 하드 시나리오 설정) 하에서 제안된 방법이 최신 기술 수준의 검출기들과 비교해 어떻게 성능을 내는가?

주요 결과

• SAM 검출기는 IoU=0.5 조건에서 Caltech 벤치마크에서 4.9%의 미검출률을 기록하여 이전 최신 기술 수준의 HyperLearner보다 0.6% 향상된 성능을 보였다.
• KITTI 데이터셋에서 SAM+는 하드 평가 세트에서 68.40%의 mAP를 기록하여 HyperLearner를 4.67% 초월하는 성능을 달성하였다.
• 의미론적 특징 채널 통합으로 검출 성능이 1.02% 향상되었으며, 특히 작은 보행자에 대해 2.24% 향상되어 어려운 케이스에서 더 큰 이점을 보였다.
• 모서리 특징 채널을 추가로 통합함으로써 성능이 0.38% 향상되었고, 이는 큰 보행자보다 작은 보행자에 대해 상대적으로 더 큰 성과 향상을 보였다.
• IoU=0.7 조건에서 SAM+는 SAM 대비 0.4% 향상된 성능을 기록하여 더 높은 국소화 정확도를 입증하였다.
• 제안된 RoI 히스토그램 풀링 방법은 특히 의미론적 및 모서리 특징에서 보완적인 특징 벡터를 추출하는 데서 표준 RoI 최대 풀링보다 뛰어난 성능을 보였다.