[논문 리뷰] VLPD: Context-Aware Pedestrian Detection via Vision-Language Semantic Self-Supervision

Mengyin Liu, Jie Jiang외 2명|arXiv (Cornell University)|2023. 04. 06.

Video Surveillance and Tracking Methods인용 수 6

한 줄 요약

이 논문은 VLPD를 제안하며, CLIP 기반의 다중모달 맵핑을 활용해 맥락 객체에 대한 가짜 의미 레이블을 생성함으로써 인간의 주석 없이도 명시적인 의미적 맥락 모델링이 가능한, 맥락 인식 보행자 검출을 위한 시각-언어 자기지도 학습 방법이다. 자기지도 시각-언어 의미(Visual-Language Semantic, VLS) 세그멘테이션과 원형 의미 대비(Prototypical Semantic Contrastive, PSC) 학습을 결합함으로써, CityPersons와 Caltech 벤치마크에서 최신 기준 성능을 달성하며 특히 소규모 또는 심하게 가려진 보행자 검출에서 뛰어난 성능을 보인다.

ABSTRACT

Detecting pedestrians accurately in urban scenes is significant for realistic applications like autonomous driving or video surveillance. However, confusing human-like objects often lead to wrong detections, and small scale or heavily occluded pedestrians are easily missed due to their unusual appearances. To address these challenges, only object regions are inadequate, thus how to fully utilize more explicit and semantic contexts becomes a key problem. Meanwhile, previous context-aware pedestrian detectors either only learn latent contexts with visual clues, or need laborious annotations to obtain explicit and semantic contexts. Therefore, we propose in this paper a novel approach via Vision-Language semantic self-supervision for context-aware Pedestrian Detection (VLPD) to model explicitly semantic contexts without any extra annotations. Firstly, we propose a self-supervised Vision-Language Semantic (VLS) segmentation method, which learns both fully-supervised pedestrian detection and contextual segmentation via self-generated explicit labels of semantic classes by vision-language models. Furthermore, a self-supervised Prototypical Semantic Contrastive (PSC) learning method is proposed to better discriminate pedestrians and other classes, based on more explicit and semantic contexts obtained from VLS. Extensive experiments on popular benchmarks show that our proposed VLPD achieves superior performances over the previous state-of-the-arts, particularly under challenging circumstances like small scale and heavy occlusion. Code is available at https://github.com/lmy98129/VLPD.

연구 동기 및 목표

• 보행자와 유사한 물체, 또는 가려진/소규모 보행자가 많은 복잡한 도시 환경에서 잘못된 경고 및 탐지 실패를 유발하는 문제를 해결한다.
• 비용이 많이 들거나 암시적인 局부 맥락 모델링에 의존하는 이전의 맥락 인식 검출기의 한계를 극복한다.
• 시각-언어 모델을 활용한 자기지도 학습을 통해 인간 주석이 없는 명시적 의미적 맥락 이해를 가능하게 한다.
• 의미적 맥락 특징 기반의 원형 대비 학습을 통해 보행자와 혼동스러운 맥락 요소(예: 신호등, 기둥 등) 간의 구분 능력을 향상시킨다.

제안 방법

• 시각-언어 모델(예: CLIP)의 다중모달 맵핑을 활용해 맥락 객체에 대한 가짜 의미 레이블을 생성하는 자기지도 시각-언어 의미 세그멘테이션(VLS) 방법을 제안하며, 보행자 검출과 의미 세그멘테이션의 공동 학습을 가능하게 한다.
• CLIP의 시각-언어 정렬 기능을 활용해 픽셀 단위의 특징을 의미 클래스(예: '신호등', '기둥')의 언어 임베딩으로 매핑함으로써 인간 주석 없이도 맥락 객체에 대한 가짜 레이블을 생성한다.
• 픽셀 단위의 보행자 특징을 쿼리로 간주하고, VLS 예측 맥락 의미에 기반해 양성 의미 클래스(예: '사람')의 원형과 가까이 오게 하고, 음성 원형(예: '신호등', '기둥')과는 멀어지게 하는 원형 의미 대비(PSC) 학습을 도입한다.
• 클래스별 전역 원형을 픽셀 단위 집계를 통해 계산함으로써 명시적 의미 신호를 활용해 보행자와 맥락 객체 간의 전역적 구분 능력을 향상시킨다.
• 바운딩 박스 예측을 위한 손실(예: 검출 손실)과 자기지도 세그멘테이션 및 대비 학습 손실을 조합한 다중 작업 손실을 통해 모델을 종단 간(end-to-end)으로 훈련시킨다.
• 가짜 레이블 생성 과정에서 의미 클래스에 대한 제로샷 전이를 가능하게 하기 위해 사전 학습된 CLIP을 시각 인코더로 활용한다.

실험 결과

연구 질문

• RQ1 인간 주석이 없는 맥락 데이터를 사용하지 않고도 시각-언어 모델을 효과적으로 활용해 보행자 검출을 위한 의미적 맥락 레이블을 생성할 수 있는가?
• RQ2 명시적인 의미적 맥락 모델링이 소규모 또는 심하게 가려진 보행자와 같은 어려운 상황에서 검출 성능을 향상시킬 수 있는가?
• RQ3 원형 기반 대비 학습이 장면 내 혼동스러운 비인간 물체와의 특징 간 구분 능력을 향상시킬 수 있는가?
• RQ4 시각-언어 정렬을 통한 자기지도 맥락 모델링이 약한 지도 학습 또는 잠재 맥락 표현에 의존하는 기존 방법보다 우월한가?

주요 결과

• VLPD는 CityPersons 벤치마크에서 새로운 최고 성능을 달성하였으며, Reasonable 서브셋에서 오차율을 9.4%로 낮추고 Small 서브셋에서는 10.9%로 유지하여 SMPD 및 EGCL과 같은 이전 방법들을 능가했다.
• Caltech 벤치마크에서는 Reasonable 서브셋에서 2.3%의 오차율, Heavy Occlusion 서브셋에서는 37.7%의 오차율을 기록하여 추가 주석을 사용하는 PedHunter 및 DMSFLN과 같은 방법들을 초월했다.
• 특히 가장 도전적인 서브셋—특히 심한 가림(34.9% 오차율, CityPersons의 HO 서브셋)과 소규모 검출(10.9% 오차율)에서 성능 향상이 두드러져 척도 및 가림에 대한 강건성을 입증했다.
• 제거 실험을 통해 VLS와 PSC 구성 요소 모두가 필수적임을 확인하였으며, VLS는 정확한 의미적 맥락 레이블링을 제공하고 PSC는 특징의 구분 능력을 향상시켰다.
• VLPD는 인간 주석이 없는 맥락 레이블을 전혀 사용하지 않음에도 불구하고, 맥락 모델링을 위한 시각-언어 자기지도 학습의 효과성을 입증했다.
• 모델은 벤치마크 간에 잘 일반화되어 있으며, CityPersons와 Caltech 양쪽 모두에서 강력한 성능을 유지함으로써 제안된 자기지도 프레임워크의 이식 가능성과 강건성을 보여주었다.