[논문 리뷰] PCN: Part and Context Information for Pedestrian Detection with CNNs

Shiguang Wang, Jian Cheng외 2명|arXiv (Cornell University)|2018. 04. 12.

Video Surveillance and Tracking Methods참고 문헌 27인용 수 10

한 줄 요약

이 논문은 LSTM를 통한 부분 기반 의미 전달과 국소 경쟁 메커니즘(맥스아웃)을 이용한 적응형 다중 척도 맥락 모델링을 통합한 새로운 CNN 기반 보행자 검출 프레임워크인 PCN을 제안한다. 부분 및 맥락 브랜치의 특징을 융합함으로써 PCN는 Caltech 데이터셋에서 부분적으로 가림을 받는 보행자에 대해 16.4%의 미검출률, 심하게 가려진 경우 56.7%의 미검출률을 기록하여, 가림 상황에서도 탐지 성능이 크게 향상됨을 입증한다.

ABSTRACT

Pedestrian detection has achieved great improvements in recent years, while complex occlusion handling is still one of the most important problems. To take advantage of the body parts and context information for pedestrian detection, we propose the part and context network (PCN) in this work. PCN specially utilizes two branches which detect the pedestrians through body parts semantic and context information, respectively. In the Part Branch, the semantic information of body parts can communicate with each other via recurrent neural networks. In the Context Branch, we adopt a local competition mechanism for adaptive context scale selection. By combining the outputs of all branches, we develop a strong complementary pedestrian detector with a lower miss rate and better localization accuracy, especially for occlusion pedestrian. Comprehensive evaluations on two challenging pedestrian detection datasets (i.e. Caltech and INRIA) well demonstrated the effectiveness of the proposed PCN.

연구 동기 및 목표

• 복잡한 가림 상황, 특히 신체 부위가 가려진 경우에도 지속적으로 발생하는 보행자 검출 과제를 해결하기 위해.
• 반복 모델링을 통해 신체 부위 간 의미 전달 기능을 제공함으로써 검출 정확도를 향상시키기 위해.
• 학습 가능한 국소 경쟁 메커니즘을 활용해 다양한 보행자 인스턴스에 최적의 맥락 스케일을 적응적으로 선택하기 위해.
• 부분 및 맥락 정보를 통합하여 상호 보완적인 검출 프레임워크로 통합함으로써 국소화 정확도를 향상시키고, 미검출률을 감소시키기 위해.

제안 방법

• PCN 프레임워크는 공통의 백본 특징 추출기 공유를 바탕으로 한 세 부분으로 구성된 브랜치로 구성된다: 기본 검출기, 부분 브랜치, 맥락 브랜치.
• 부분 브랜치에서는 보행자 바운딩 박스가 다수의 부분 격자로 나뉘며, 각 격자에 검출 점수가 할당된다. LSTM 레이어를 통해 신체 부위 간 이중 방향 의미 전달이 가능해져 점수가 보다 정교해진다.
• 맥락 브랜치는 맥스아웃 기반의 국소 경쟁 메커니즘을 사용하여 다양한 스케일(예: 1.5x, 1.8x, 2.1x)에서 가장 정보가 풍부한 맥락 영역을 적응적으로 선택한다.
• 부분 브랜치와 맥락 브랜치의 출력은 기본 검출기와 융합되어 더 강력한 최종 검출 점수를 생성한다.
• 분류, 국소화, 부분 검출 목표를 통합한 다중 과제 손실을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.
• LSTM의 사용은 가시 부위와 가려진 부위 간 장거리 의존성을 모델링할 수 있게 하여, 부분적으로 가려진 보행자도 더 잘 식별할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 신체 부위의 의미를 반복적으로 모델링하면 가려진 보행자 검출 성능 향상에 기여하는가?
• RQ2 가장자리 기반의 데이터 기반 맥락 스케일 선택 방식이 보행자 검출에서 고정 스케일 맥락 추출 방식보다 우월한가?
• RQ3 부분 기반 및 맥락 기반 특징의 융합이 특히 심한 가림 상황에서 미검출률을 크게 감소시키는가?
• RQ4 제안된 PCN 프레임워크는 기존 최신 기술 수준의 방법보다 부분적 및 완전한 가림 상황을 더 효과적으로 다룰 수 있는가?

주요 결과

• PCN는 Caltech 데이터셋의 'Occ.partial' 서브셋에서 16.4%의 미검출률을 기록하여 기준 RPN+FRCNN opt 모델(24.0%) 대비 7.6% 상대적 향상률을 보였다.
• 'Occ.heavy' 서브셋에서 PCN는 미검출률을 56.7%로 낮춰 기준 모델(64.9%) 대비 10.2% 상대적 향상률을 기록했다.
• 전체 PCN 모델은 Caltech의 'Reasonable' 스플릿에서 9.0%의 미검출률을 기록하여, 최고의 단일 스케일 맥락 모델(2.1x일 때 9.6%)과 기준 모델(12.1%)을 모두 초월했다.
• 절단 분석 결과, LSTM 기반 부분 간 통신은 'Occ.heavy' 보행자에서 미검출률을 64.6%에서 58.9%로 감소시켜 가림 처리에 효과적임을 입증했다.
• 맥스아웃을 사용한 맥락 브랜치는 9.0%의 미검출률을 기록하여 모든 단일 스케일 맥락 모델(9.6–9.9%)을 능가했으며, 적응형 스케일 선택의 우수성을 입증했다.
• 시각적 비교 결과, DeepParts와 RPN+BF보다 PCN가 더 많은 가려진 보행자를 더 높은 국소화 정확도로 탐지하는 것으로 나타났다.