[논문 리뷰] V2F-Net: Explicit Decomposition of Occluded Pedestrian Detection

Mingyang Shang, Dawei Xiang외 2명|arXiv (Cornell University)|2021. 04. 07.

Video Surveillance and Tracking Methods참고 문헌 44인용 수 5

한 줄 요약

V2F-Net는 가시 영역 탐지와 전신 추정으로 작업을 명시적으로 분해함으로써, 가시 영역 탐지 네트워크(VDN)와 전면 추정 네트워크(FEN)를 사용하여 가림된 보행자 탐지의 새로운 이중 단계 파이프라인을 제안한다. FPN 기준 대비 CrowdHuman에서 5.85% AP 향상과 CityPersons에서 2.24% MR⁻² 향상을 달성하며, 단일 단계 및 이중 단계 탐지기 모두에서 일관된 성능 향상을 보였다.

ABSTRACT

Occlusion is very challenging in pedestrian detection. In this paper, we propose a simple yet effective method named V2F-Net, which explicitly decomposes occluded pedestrian detection into visible region detection and full body estimation. V2F-Net consists of two sub-networks: Visible region Detection Network (VDN) and Full body Estimation Network (FEN). VDN tries to localize visible regions and FEN estimates full-body box on the basis of the visible box. Moreover, to further improve the estimation of full body, we propose a novel Embedding-based Part-aware Module (EPM). By supervising the visibility for each part, the network is encouraged to extract features with essential part information. We experimentally show the effectiveness of V2F-Net by conducting several experiments on two challenging datasets. V2F-Net achieves 5.85% AP gains on CrowdHuman and 2.24% MR-2 improvements on CityPersons compared to FPN baseline. Besides, the consistent gain on both one-stage and two-stage detector validates the generalizability of our method.

연구 동기 및 목표

• 전체 신체 레이블이 자주 불완전하거나 오해의 소지가 있는 심한 가림 상황에서의 보행자 탐지 문제를 해결한다.
• 전체 신체 박스 간 높은 IoU로 인해 정규화 최대 억제(NMS)에 의한 잘못된 억압과 정규화 오차로 인해 어려움을 겪는 엔드 투 엔드 전체 신체 탐지의 한계를 극복한다.
• 가시 영역 탐지와 전면 추정으로 나누어지는 두 단계의 명시적이고 순차적인 프로세스를 도입함으로써 학습을 단순화하고 내성적 성능을 향상시킨다.
• 각 신체 부위의 가시성에 대해 지도하는 비용이 들지 않는 임베딩 기반 파트 인식 모듈(EPM)을 도입하여 전면 추정 정확도를 향상시킨다.
• 일단 단계 및 이중 단계 탐지기 모두에 걸쳐 일반화 가능성을 입증함으로써, V2F-Net이 가림된 보행자 탐지에 있어 강력하고 재사용 가능한 기초 모델이 됨을 보여준다.

제안 방법

• V2F-Net는 두 개의 하위 네트워크로 구성된다: 가시 영역을 국소화하는 가시 영역 탐지 네트워크(VDN), 그리고 가시 박스에서 전체 신체 경계 상자 회귀를 수행하는 전면 추정 네트워크(FEN).
• 파이프라인은 이미지를 순차적으로 처리한다: VDN이 가시 박스를 탐지하고, 전체 박스가 아닌 가시 박자에 대해 NMS를 적용한 후, 생존한 박스를 FEN에 공급하여 전체 신체 추정을 수행한다.
• 임베딩 기반 파트 인식 모듈(EPM)은 각 신체 부위의 가시성에 대해 지도함으로써, 더 나은 전체 신체 추정을 위한 구조적 및 비율적 단서를 유지하는 특징 학습을 장려한다.
• 학습은 엔드 투 엔드로 수행되며, VDN과 FEN은 표준 탐지 손실(예: 분류 및 회귀)을 사용해 공동 최적화되며, EPM은 부위별 가시성 지도를 추가한다.
• 비최대 억제(NMS)는 전체 박스가 아닌 가시 박스에만 적용되어, 겹치는 전체 신체 박스가 잘못 억압되는 것을 방지하고 필요에 따라 다중 탐지 유지가 가능하다.
• 이 방법은 Faster R-CNN과 RetinaNet 백본을 통해 검증된 바와 같이, 일단 단계 및 이중 단계 탐지기 모두와 호환된다.

실험 결과

연구 질문

• RQ1 가시 영역 탐지와 전체 신체 추정으로 분해된 탐지 방식이 엔드 투 엔드 전체 신체 탐지 대비 성능 향상에 기여하는가?
• RQ2 중간 단계로 가시 박스를 사용함으로써 전체 신체 회귀 학습의 어려움이 감소하고 NMS에 의한 잘못된 억압이 완화되는가?
• RQ3 각 신체 부위의 가시성에 대해 지도하는 파트 인식 모듈이 가림 상황에서 전체 신체 추정 정확도 향상에 기여하는가?
• RQ4 제안된 파이프라인은 다양한 탐지기 아키텍처(일단 단계 대비 이중 단계)에 얼마나 일반화되는가?
• RQ5 개별 구성 요소(VDN, FEN, EPM)는 전체 성능 향상에 어떤 기여를 하는가? 각각의 한계는 무엇인가?

주요 결과

• V2F-Net는 FPN 기준 대비 CrowdHuman에서 5.85% AP 향상과 CityPersons에서 2.24% MR⁻² 향상을 달성하여, 두 주요 가림된 보행자 탐지 벤치마크에서 뚜렷한 성능 향상을 입증했다.
• 성능 향상은 일괄 단계 및 이중 단계 탐지기 모두에서 일관되게 나타나 V2F-Net 파이프라인의 일반화 능력을 입증했다.
• 제거 분석 결과, P-VDN+NMS(완벽한 가시 영역 탐지 + NMS)는 CrowdHuman에서 95.14% AP와 17.67% MR⁻²를 기록하여, 가시 박자에 대한 NMS 적용이 잘못된 억압을 크게 감소시킨다는 점을 시사한다.
• P-FEN 실험(완벽한 전체 신체 추정)은 AP 향상이 약간(92.25% 대비 91.03%)에 그치지만, MR⁻²가 크게 감소(35.56%에서 20.52%로)하여, VDN의 높은 신뢰도를 가진 잘못된 양성 결과가 주요 성능 저하 요인임을 시사한다.
• EPM 모듈은 추론 비용 없이 성능 향상에 기여한다. 이는 경량이며 학습 가능한 모듈로, 전체 신체 추정을 위한 특징 표현을 향상시킨다.
• 이 방법은 CityPersons에서 최신 기술 수준의 방법들을 초월하거나 동등하게 성능을 내며, 전체 V2F-Net 모델이 더 복잡한 기반 모델들조차도 뛰어넘는 성능을 기록했다.