[논문 리뷰] Occlusion-aware R-CNN: Detecting Pedestrians in a Crowd

Shifeng Zhang, Longyin Wen외 3명|arXiv (Cornell University)|2018. 07. 23.

Video Surveillance and Tracking Methods참고 문헌 53인용 수 33

한 줄 요약

이 논문은 시각적 겹침과 중복되는 보행자로 인해 정확도가 떨어지는 혼잡한 장면에서 보행자 검출 성능을 향상시키기 위해 제안된 오cludation-aware R-CNN (OR-CNN)을 제시한다. 이는 같은 보행자 주위에 제안 영역을 조밀하게 군집화하도록 돕는 집합 손실과, 인간 신체 구조 사전 지식 및 가시성 예측을 통합하는 부분 가림 인식 RoI (PORoI) 풀링 레이어를 도입함으로써 이루어진다. 이 방법은 CityPersons (11.3% MR⁻²), ETH (24.5% MR⁻²), INRIA (6.4% MR⁻²)에서 최신 기준 성능을 달성한다.

ABSTRACT

Pedestrian detection in crowded scenes is a challenging problem since the pedestrians often gather together and occlude each other. In this paper, we propose a new occlusion-aware R-CNN (OR-CNN) to improve the detection accuracy in the crowd. Specifically, we design a new aggregation loss to enforce proposals to be close and locate compactly to the corresponding objects. Meanwhile, we use a new part occlusion-aware region of interest (PORoI) pooling unit to replace the RoI pooling layer in order to integrate the prior structure information of human body with visibility prediction into the network to handle occlusion. Our detector is trained in an end-to-end fashion, which achieves state-of-the-art results on three pedestrian detection datasets, i.e., CityPersons, ETH, and INRIA, and performs on-pair with the state-of-the-arts on Caltech.

연구 동기 및 목표

• 가시성과 겹침으로 인해 정확도가 저하되는 혼잡한 장면에서 보행자 검출의 과제를 해결한다.
• 접한, 겹치는 보행자로 인한 오진을 줄이기 위해 같은 보행자에 대해 제안 영역의 국소화를 조밀하고 그룹화된 방식으로 강제한다.
• 부분적으로 가려진 경우를 개선하기 위해 인간 신체 구조 사전 지식과 가시성 예측을 특징 추출 과정에 통합한다.
• 다양한 보행자 검출 벤치마크에서 잘 일반화되는 엔드 투 엔드 학습 가능한 검출기 개발
• 특히 높은 가림 정도의 상황에서 여러 벤치마크 데이터셋에서 최신 기준 성능을 달성한다.

제안 방법

• 동일한 보행자에 대해 제안 영역 간의 거리와 제안 영역 내부의 거리를 동시에 최소화하는 집합 손실(AggLoss)을 제안하여 제안 영역의 조밀한 군집화를 촉진한다.
• 제안 영역을 다섯 개의 신체 부위로 나누고 각각의 특징을 별도로 풀링하는 부분 가림 인식 RoI (PORoI) 풀링 유닛을 설계한다.
• 각 신체 부위와 전체 제안 영역에서 고정 길이의 특징 벡터를 추출하기 위해 가변 크기의 풀링 박스를 사용하여 공간적 구조를 유지한다.
• 집합 손실과 PORoI 풀링을 함께 사용하여 엔드 투 엔드로 네트워크를 훈련시켜 제안 영역 국소화와 가림 인식 특징 학습을 동시에 최적화한다.
• 신체 부위(예: 머리, 흉부, 사지 등)와 같은 인간 신체 구조 정보를 RoI 풀링 과정에 통합하여 부분 가림 상황에서도 강건성을 향상시킨다.
• 하나의 하위 네트워크를 통해 각 신체 부위의 가시성 점수를 예측하고, 이 점수를 검출 과정에서 특징을 가중치로 사용하여 가려진 영역에 대한 민감도를 높인다.

실험 결과

연구 질문

• RQ1 동일한 보행자에 대해 제안 영역을 조밀하게 군집화하도록 유도하는 손실 함수가 혼잡한 장면에서 검출 정확도 향상에 기여하는가?
• RQ2 인간 신체 구조 사전 지식을 RoI 풀링 레이어에 효과적으로 통합하면 가림에 대한 강건성이 향상되는가?
• RQ3 개별 신체 부위의 가시성 예측이 가려진 보행자 검출에서 특징 표현을 향상시키는가?
• RQ4 제안된 PORoI 풀링 유닛이 부분 가림을 다루는 데 있어 표준 RoI 풀링보다 우수한가?
• RQ5 OR-CNN 모델은 미세 조정 없이 다양한 보행자 검출 벤치마크에 잘 일반화되는가?

주요 결과

• OR-CNN 모델은 CityPersons 데이터셋에서 11.3% MR⁻²의 평균 재현율을 달성하여 새로운 최신 기준 성능을 수립했다.
• ETH 데이터셋에서 모델은 24.5% MR⁻²를 기록했으며, 이는 이전 최신 기준 방법(RFN-BF)보다 5.7%포인트 높은 성능이다.
• INRIA 데이터셋에서 모델은 6.4% MR⁻²를 기록하여 고해상도, 다양한 보행자 이미지에서 강력한 성능을 보였다.
• 미세 조정 없이 Caltech-USA 데이터셋에 일반화되어 있는 것으로 확인되었으며, Reasonable 서브셋에서 4.1% MR⁻²를 기록하여 기존 최고 성능 방법과 동일한 성능을 달성했다.
• 제거 실험을 통해 집합 손실과 PORoI 풀링 모두가 성능 향상에 기여하며, 특히 고가림 상황에서 두드러진다.
• PORoI 풀링을 통한 가시성 예측과 신체 부위 특징의 통합은 특히 부분적으로 가려진 보행자에 대해 검출의 강건성을 향상시킨다.