[논문 리뷰] PSC-Net: Learning Part Spatial Co-occurrence for Occluded Pedestrian Detection

Jin Xie, Yanwei Pang외 4명|arXiv (Cornell University)|2020. 01. 25.

Advanced Neural Network Applications참고 문헌 55인용 수 5

한 줄 요약

PSC-Net은 보행자 신체 부위 간의 상호 및 내부 공간 관계를 명시적으로 모델링하는 새로운 그래프 컬러션 네트워크(GCN)-기반 파트 스페이셜 공존(PSC) 모듈을 도입하여, 가림을 겪는 상황에서도 검출 성능을 향상시킨다. 파트 애너테이션 또는 가시 경계 상자(VBB) 감독 없이도, 기존 최고 성능(SOTA) 대비 CityPersons(HO 세트)에서 4.0% 감소하고 Caltech(HO 세트)에서 3.1% 감소한 로그 평균 빠짐률을 기록하여 최고의 성능을 달성한다.

ABSTRACT

Detecting pedestrians, especially under heavy occlusions, is a challenging computer vision problem with numerous real-world applications. This paper introduces a novel approach, termed as PSC-Net, for occluded pedestrian detection. The proposed PSC-Net contains a dedicated module that is designed to explicitly capture both inter and intra-part co-occurrence information of different pedestrian body parts through a Graph Convolutional Network (GCN). Both inter and intra-part co-occurrence information contribute towards improving the feature representation for handling varying level of occlusions, ranging from partial to severe occlusions. Our PSC-Net exploits the topological structure of pedestrian and does not require part-based annotations or additional visible bounding-box (VBB) information to learn part spatial co-occurrence. Comprehensive experiments are performed on two challenging datasets: CityPersons and Caltech datasets. The proposed PSC-Net achieves state-of-the-art detection performance on both. On the heavy occluded ( extbf{HO}) set of CityPerosns test set, our PSC-Net obtains an absolute gain of 4.0\% in terms of log-average miss rate over the state-of-the-art with same backbone, input scale and without using additional VBB supervision. Further, PSC-Net improves the state-of-the-art from 37.9 to 34.8 in terms of log-average miss rate on Caltech ( extbf{HO}) test set.

연구 동기 및 목표

• 자율 주행 및 감시와 같은 실제 환경에서 심하게 가려진 보행자를 검출하는 데 지속적으로 도전하는 문제를 해결하기 위해.
• 신체 부위 간 및 부위 내에서의 공간 공존을 명시적으로 모델링하여, 가려진 보행자에 대한 특징 표현을 향상시키기 위해.
• 파생된 애너테이션 또는 가시 경계 상자(VBB) 정보에 의존하지 않고 보행자의 위상적 구조를 활용하는 모듈을 설계하기 위해.
• 특히 심한 가림 상황에서 표준 벤치마크에서 최고 성능을 달성하기 위해.
• 공간 공존 학습이 단순히 파트 검출 점수에 의존하는 것보다도 보행자 검출의 강건성을 향상시킨다는 것을 입증하기 위해.

제안 방법

• PSC-Net 프레임워크는 두 단계의 Faster R-CNN 백본에 그래프 컬러션 네트워크(GCN) 기반의 전용 파트 스페이셜 공존(PSC) 모듈을 통합한다.
• PSC 모듈은 노드가 신체 부위(예: 머리, 흉부, 사지 등)를 나타내고, 간선이 공간적 인접 관계를 인코딩하는 그래프를 구성함으로써 공간 공존을 모델링한다.
• 내부 부위 공존은 한 신체 부위 내의 하위 영역(예: 머리의 눈과 귀)을 하위 그래프의 노드로 간주하여 세분화된 공간 추론을 가능하게 한다.
• GCN은 그래프 구조를 따라 특징 표현을 처리하여 맥락 정보를 집계함으로써, 가림 상황에서도 특징의 강건성을 향상시킨다.
• 학습 중에는 파트 수준의 애너테이션 또는 VBB 감독이 필요로 하지 않으며, 표준 전체 신체 경계 상자 애너테이션만 사용한다.
• PSC 모듈은 RPN 및 ROI 헤드 단계에 통합되어, 공존 인식 특징이 제안 생성과 분류를 안내하도록 한다.

실험 결과

연구 질문

• RQ1 보행자 신체 부위 간 및 부위 내에서의 공간 공존을 명시적으로 모델링하면 심한 가림 상황에서도 검출 성능 향상이 가능한가?
• RQ2 파트 수준의 애너테이션 또는 가시 경계 상자(VBB) 감독 없이도 GCN 기반 모듈이 효과적인 공존 패턴을 학습할 수 있는가?
• RQ3 인간 신체의 위상적 구조를 통합함으로써 가려진 보행자 검출에서 더 강건한 특징 표현이 도출되는가?
• RQ4 데이터 기반 접근 방식이 단순히 파트 검출 점수나 주의 메커니즘에 의존하는 기존 방법을 능가할 수 있는가?
• RQ5 제안된 PSC-Net은 다양한 벤치마크, 예를 들어 CityPersons와 Caltech에서 다양한 가림 수준에서도 일반화 가능한가?

주요 결과

• CityPersons(HO) 테스트 세트에서 PSC-Net은 로그 평균 빠짐률 37.4를 기록하여, 동일한 백본과 입력 스케일에서 기존 SOTA 방법인 MGAN [34] 대비 4.0%의 절대적 향상을 보였다.
• Caltech(HO) 테스트 세트에서 PSC-Net은 로그 평균 빠짐률을 37.9에서 34.8로 감소시켜 새로운 최고 성능을 달성했다.
• VBB 감독을 사용하지 않더라도, PSC-Net은 CityPersons(HO) 세트에서 MGAN [34] 대비 3.6% 향상되었고, Caltech(HO) 세트에서는 3.1% 향상되었다.
• CityPersons의 R 및 HO 세트 모두에서 뛰어난 성능을 기록했으며, 로그 평균 빠짐률이 각각 10.6과 50.2로, 유사 설정에서 Adaptive-NMS 및 MGAN을 능가했다.
• 그림 5의 정성적 결과는 PSC-Net이 AR-Ped [3] 및 MGAN [34]보다 더 정확하고 완전한 검출 결과를 도출하며, 특히 심한 가림 상황에서 뛰어난 성능을 보임을 보여준다.
• 제거 실험 결과는 상호 부위 및 내부 부위 공존 모델링이 성능 향상에 기여하며, PSC 모듈의 설계가 타당함을 확인한다.