[논문 리뷰] Small-scale Pedestrian Detection Based on Somatic Topology Localization and Temporal Feature Aggregation

Tao Song, Leiyu Sun외 3명|arXiv (Cornell University)|2018. 07. 04.

Video Surveillance and Tracking Methods참고 문헌 27인용 수 52

한 줄 요약

이 논문은 시맨틱 토폴로지 라인(TLL) 로컬라이제이션 네트워크를 도입하고, 시계열 특성 집계 및 MRF 기반 후처리를 통해 다중 규모 보행자를 탐지하며 Caltech에서 최첨단 성능을 달성하고 CityPersons에서 경쟁력 있는 결과를 보여주며 KITTI의 주석 편향을 드러낸다.

ABSTRACT

A critical issue in pedestrian detection is to detect small-scale objects that will introduce feeble contrast and motion blur in images and videos, which in our opinion should partially resort to deep-rooted annotation bias. Motivated by this, we propose a novel method integrated with somatic topological line localization (TLL) and temporal feature aggregation for detecting multi-scale pedestrians, which works particularly well with small-scale pedestrians that are relatively far from the camera. Moreover, a post-processing scheme based on Markov Random Field (MRF) is introduced to eliminate ambiguities in occlusion cases. Applying with these methodologies comprehensively, we achieve best detection performance on Caltech benchmark and improve performance of small-scale objects significantly (miss rate decreases from 74.53% to 60.79%). Beyond this, we also achieve competitive performance on CityPersons dataset and show the existence of annotation bias in KITTI dataset.

연구 동기 및 목표

• 바운딩 박스 주석 편향을 줄여 소형 보행자 탐지 개선 동기를 부여한다.
• 보행자 중심을 위치시키는 토폴로지 라인 기반 주석 및 회귀 프레임워크를 제안한다.
• 비디오 시퀀스를 활용하기 위한 시계열 특성 집계를 포함한다.
• 가려짐 모호성을 완화하기 위한 Markov Random Field 기반 후처리 도입한다.
• Caltech에서 최첨단 성능 및 CityPersons에서 경쟁력 있는 결과를 보여주고 데이터셋 주석 편향을 분석한다.

제안 방법

• 각 보행자를 상하 축의 소마틱 토폴로지 라인으로 표현하고 상단/하단 포인트의 가우시안 정점을 맵으로 표현한다.
• 다중 스케일 특징 간의 상/하 정점 신뢰도와 엣지(링크) 맵을 회귀하기 위해 ResNet-50 기반의 완전 합성곱 신경망을 구축한다.
• 예측된 엣지 신뢰도를 사용하여 후보 상하 쌍에 이분 그래프 매핑(헝가리 알고리즘)을 적용한다.
• 근처 후보 쌍 간의 이웃 일관성을 강제하여 가려짐으로 인한 모호성을 해결하기 위한 MRF 기반 후처리 를 도입한다.
• Conv-LSTM을 통해 프레임 간 특성을 전파하여 비디오에서의 탐지 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 소마틱 토폴로지 라인 표현이 바운딩 박스 주석으로 인한 모호성을 줄이고 소형 보행자 탐지 성능을 개선할 수 있는가?
• RQ2 다중 스케일 표현과 시계열 특성 집계가 작은 보행자 및 가려진 보행자 탐지 성능에 어떤 영향을 미치는가?
• RQ3 혼잡 또는 가려짐 상황에서 MRF 기반 후처리 단계가 매칭 정확도를 향상시키는가?
• RQ4 TLL과 Conv-LSTM의 결합이 비디오 기반 보행자 탐지에 어떤 영향을 주는가?

주요 결과

• TLL은 Caltech에서 최첨단에 근접한 결과를 달성하며 작은 규모 객체에서의 특기 개선( Far/Middle 범주에서 누락률 감소) 이 있다.
• MRF 기반 후처리는 가려짐으로 인한 오매칭을 줄이고 특히 혼잡한 장면과 가려짐에서 지표를 개선한다.
• Conv-LSTM을 통한 시계열 특성 집계는 프레임 간 시계열 신호를 전파하여 매우 작은 보행자나 초점이 흐려진 경우에 뚜렷한 이점을 제공한다.
• CityPersons에서 TLL + MRF은 강력한 결과를 달성하며 특히 심한 가려짐 시나리오에서 강한 성능을 보인다.
• 본 연구는 바운딩 박스 데이터셋(KITTI 등)에 존재하는 주석 편향을 강조하고, 선 기반 주석이 작은 객체의 위치 결정에서 더 일관된 결과를 낳을 수 있음을 보여준다.
• 정량적 결과에서 TLL(MRF)+LSTM이 Caltech의 평가 프로토콜 중 보고된 방법들 중 단일 샷 성능에서 최고를 달성한다.