[논문 리뷰] Where, What, Whether: Multi-modal Learning Meets Pedestrian Detection

Yan Luo, Chongyang Zhang외 3명|arXiv (Cornell University)|2020. 12. 20.

Video Surveillance and Tracking Methods참고 문헌 30인용 수 14

한 줄 요약

이 논문은 W3 Net을 제안하며, 보행자 검출을 세 가지 작업으로 분해하는 새로운 앵커 기반 검출 프레임워크이다: 어디서(조망도 지도를 통한 국소화), 무엇을(깊이에 의해 안내되는 척도 예측), 그리고 어느지(거짓 양성 탐지자를 걸러내기 위한 공유된 시각-코퍼스 임베딩을 사용한 분류). 이는 도시 인물과 캘리포니아 대학에서의 최신 기술 성능을 달성하며, 중증 가림 상황 하위 집합에서 놓침률을 2배로 감소시켰다(시티퍼스널스에서 18.7% MR로, 이전 최고 기록인 49.3%에서 감소).

ABSTRACT

Pedestrian detection benefits greatly from deep convolutional neural networks (CNNs). However, it is inherently hard for CNNs to handle situations in the presence of occlusion and scale variation. In this paper, we propose W$^3$Net, which attempts to address above challenges by decomposing the pedestrian detection task into extbf{ extit{W}}here, extbf{ extit{W}}hat and extbf{ extit{W}}hether problem directing against pedestrian localization, scale prediction and classification correspondingly. Specifically, for a pedestrian instance, we formulate its feature by three steps. i) We generate a bird view map, which is naturally free from occlusion issues, and scan all points on it to look for suitable locations for each pedestrian instance. ii) Instead of utilizing pre-fixed anchors, we model the interdependency between depth and scale aiming at generating depth-guided scales at different locations for better matching instances of different sizes. iii) We learn a latent vector shared by both visual and corpus space, by which false positives with similar vertical structure but lacking human partial features would be filtered out. We achieve state-of-the-art results on widely used datasets (Citypersons and Caltech). In particular. when evaluating on heavy occlusion subset, our results reduce MR$^{-2}$ from 49.3$\%$ to 18.7$\%$ on Citypersons, and from 45.18$\%$ to 28.33$\%$ on Caltech.

연구 동기 및 목표

• 실세계 환경에서 성능을 저해하는 보행자 검출의 지속적인 과제인 가림과 척도 변동성을 해결하기 위해.
• 중복된 제안과 유연하지 못한 앵커 설계 등의 앵커 기반 검출기의 한계를 극복하기 위해 앵커 기반 아키텍처를 채택함으로써.
• 가림으로 인한 시야 손실을 최소화하는 조망도 지도를 활용하여 가림에 대한 강건성을 향상시킴으로써.
• 고정된 앵커 비율을 피하기 위해 깊이와 척도 간의 상호의존성을 모델링하여 척도 예측 정확도를 향상시킴으로써.
• 유사한 수직 구조를 가진 비보행자 객체로 인한 거짓 양성 탐지자를 줄이기 위해, 분류를 위한 공유된 시각-코퍼스 표현을 학습함으로써.

제안 방법

• 앞면 이미지에서 조망도 지도를 생성하여 가림에 강건한 국소화를 제공함으로써, 부분적으로 가려진 보행자에 대한 더 신뢰할 수 있는 검출을 가능하게 함.
• 깊이와 척도 간의 관계를 모델링하여, 다양한 이미지 위치에서 깊이에 의해 안내되는 적응형 척도를 생성함으로써, 다양한 보행자 크기의 매칭 정확도를 향상시킴.
• 시각적 특징과 의미적 코퍼스 신호(예: 머리, 몸통, 사지)를 모두 인코딩하는 공유된 잠재 벡터 공간을 도입함으로써, 가려진 경우와 아닌 경우의 보행자에 대한 통합된 표현을 가능하게 함.
• 검출을 세 가지 별도의 헤드로 분리함: '어디서'는 국소화를, '무엇을'은 척도 예측을, '어느지'는 공유된 코퍼스-시각 임베딩을 사용한 분류를 담당함.
• 제안 생성과 분류에는 앞면 특징을 사용하고, 국소화와 척도에는 조망도를 활용함으로써, 다양한 모odal 간의 보완 정보를 최대한 활용함.
• 다중 작업 손실을 사용해 엔드 투 엔드로 훈련함으로써 국소화, 척도, 분류 목표를 통합함과 동시에, 추가적인 컨볼루션 또는 완전 연결 계층 없이도 계산 효율성을 유지함.

실험 결과

연구 질문

• RQ1 앞면 검출만으로 비교할 때, 조망도 지도가 보행자 국소화의 강건성에 크게 기여하는가?
• RQ2 깊이-척도 상호의존성을 모델링하면 고정된 앵커 비율보다 더 정확하고 적응형 척도 예측이 가능한가?
• RQ3 공유된 시각-코퍼스 임베딩 공간이 가려진 경우와 아닌 경우의 보행자에 대한 특징 표현을 효과적으로 통합하여 거짓 양성 탐지자를 줄일 수 있는가?
• RQ4 제안된 다중 모달, 다중 작업 프레임워크는 시티퍼스널스와 캘리포니아 대학과 같은 도전적인 벤치마크에서 기존의 앵커 기반 및 앵커 기반 검출기보다 얼마나 뛰어난가?
• RQ5 다중 모달 입력을 사용함에도 불구하고 제안된 방법은 계산적으로 효율적인가, 그리고 실시간 추론 능력을 유지하는가?

주요 결과

• 시티퍼스널스 데이터셋에서 W3 Net은 중증 가림 하위 집합에서 놓침률(MR)을 이전 최고 성능 기록인 49.3%에서 18.7%로 감소시켜 2배 향상시켰다.
• 캘리포니아 대학 데이터셋에서 비가림(합리적) 하위 집합에서 3.82% MR을 기록하여, 이전 방법들인 OR-CNN과 RepLoss를 초월했다.
• 소형 보행자(원거리 하위 집합)에 대한 검출 성능을 TLL(특히 이러한 경우에 특화된 방법)보다 16.98% 향상시켰다.
• 단일 GTX 1080Ti에서 경쟁적인 추론 속도를 유지하면서도, 추가적인 컨볼루션 또는 완전 연결 계층 없이도 최신 기술 정확도를 달성했다.
• 조망도 국소화와 코퍼스-시각 임베딩의 조합은 캘리포니아 대학 '가림' 하위 집합에서 51.05% F1 스코어를 기록하여, FasterRCNN+ATT 및 MS-CNN와 같은 방법들을 능가했다.
• IoU 성능이 크게 향상되어, IoU > 0.5를 달성하는 검출 비율이 높아져 더 뛰어난 국소화 정확도를 나타냈다.