[논문 리뷰] Mask-Guided Attention Network for Occluded Pedestrian Detection

Yanwei Pang, Jin Xie외 4명|arXiv (Cornell University)|2019. 10. 14.

Advanced Neural Network Applications참고 문헌 33인용 수 36

한 줄 요약

논문은 MGAN을 소개합니다. MGAN은 가시적인 보행자 영역을 강조하여 가려진 부분을 억제하는 마스크-가이드 어텐션 모듈을 제안하고, Faster R-CNN에 통합되어 coarse-level segmentation 주석을 사용해 CityPersons와 Caltech에서 최첨단 결과를 달성합니다.

ABSTRACT

Pedestrian detection relying on deep convolution neural networks has made significant progress. Though promising results have been achieved on standard pedestrians, the performance on heavily occluded pedestrians remains far from satisfactory. The main culprits are intra-class occlusions involving other pedestrians and inter-class occlusions caused by other objects, such as cars and bicycles. These result in a multitude of occlusion patterns. We propose an approach for occluded pedestrian detection with the following contributions. First, we introduce a novel mask-guided attention network that fits naturally into popular pedestrian detection pipelines. Our attention network emphasizes on visible pedestrian regions while suppressing the occluded ones by modulating full body features. Second, we empirically demonstrate that coarse-level segmentation annotations provide reasonable approximation to their dense pixel-wise counterparts. Experiments are performed on CityPersons and Caltech datasets. Our approach sets a new state-of-the-art on both datasets. Our approach obtains an absolute gain of 9.5% in log-average miss rate, compared to the best reported results on the heavily occluded (HO) pedestrian set of CityPersons test set. Further, on the HO pedestrian set of Caltech dataset, our method achieves an absolute gain of 5.0% in log-average miss rate, compared to the best reported results. Code and models are available at: https://github.com/Leotju/MGAN.

연구 동기 및 목표

• 강한 가림이 보행자 전체 특징을 저하시키는 경우에도 강력한 보행자 탐지를 동기화한다.
• 제안된 경량 Mask-Guided Attention (MGA) 분기를 도입하여 가시 영역을 강조하고 제안 내 가림을 억제한다.
• MGA를 표준 Faster R-CNN 기반 탐지기에 통합하여 엔드-투-엔드 학습을 가능하게 한다.
• MGA 분기에 대해 실용적인 감독 신호로서 coarse-level 가시 영역 주석을 활용한다.

제안 방법

• 두 가지 분기 아키텍처를 소개한다: 표준 보행자 탐지기(SPD) 분기와 Mask-Guided Attention(MGA) 분기.
• MGA는 RoI Align 특징으로부터 픽셀-단위 공간 어텐션 맵을 생성하여 채널별 재가중치를 통해 전체 몸 특징을 조절한다.
• MGA 마스크는 RoI 특징에 채널별로 곱해지는 픽셀당 확률 맵을 출력하는 작은 CNN에서 생성된다.
• 손실 함수 L = L0 + alpha Lmask + beta Locc로 탐지와 가려짐 인지 감독을 함께 최적화하며 학습한다.
• Lmask는 보이는 영역 바운딩 박스를 통한 이와 같은 민감한(약한) 픽셀-단위 감독을 이진 교차 엔트로피로 사용한다.
• Locc는 가려짐 수준에 따라 RCNN 분류 손실의 가중치를 조정하여 어려운 샘플을 강조한다.]
• Lmask는 보이는 영역 바운딩 박스를 통한 coarse-level(약한) 픽셀-단위 감독을 이진 교차 엔트로피로 사용한다.
• Locc는 가려짐 수준에 따라 RCNN 분류 손실의 가중치를 조정하여 어려운 샘플을 강조한다.

실험 결과

연구 질문

• RQ1 마스크-가이드 공간 어텐션 분기가 표준 탐지기에서 가려진 보행자 탐지를 향상시킬 수 있는가?
• RQ2 coarse-level 가시 영역 주석만으로도 픽셀-단위 주의 맵에 대한 Dense 픽셀-단위 라벨링 없이 감독이 충분한가?
• RQ3 가려짐에 민감한 손실 항을 도입했을 때 다양한 가려짐 수준에서 탐지에 미치는 영향은 무엇인가?

주요 결과

• MGAN은 Faster R-CNN 기반을 개선하여 CityPersons의 Heavy-occlusion 세트에서 로그-평균 누락률을 57.0에서 51.7로 감소시켰습니다(절대 이익 5.3% 포인트).
• MGA 단독 사용은 HO 누락률을 52.7로 감소시키고, Lmask와 Locc를 함께 사용하면 HO에서 51.7, R 세트에서 11.5를 기록합니다.
• coarse-level 세분화 주석은 MGA 감독에 Dense 픽셀-단위 라벨링과 비슷한 성능을 보이며 비용 효과적인 대안을 제공합니다.
• MGAN은 다양한 가려짐 설정에서 CityPersons 검증 및 Caltech 데이터셋에서 다수의 최첨단 가려짐 중심 방법보다 우수한 성능을 보입니다.
• CityPersons 테스트 세트에서 MGAN은 R=9.29 및 HO=40.97로 최첨단 결과를 달성합니다(작은 MR이 더 좋음).
• MGAN은 심한 가려짐 하에서 작은 보행자부터 중간 및 큰 보행자까지 강력한 성능을 보여줍니다.