[논문 리뷰] Pedestrian Detection: Domain Generalization, CNNs, Transformers and Beyond

Irtiza Hasan, Shengcai Liao외 3명|arXiv (Cornell University)|2022. 01. 10.

Advanced Neural Network Applications인용 수 16

한 줄 요약

이 논문은 최신 보행자 검출기에서 데이터셋 간 일반화 능력이 떨어지는 것을 심각한 한계로 지적하며, 이는 데이터셋에 특화된 아키텍처 편향과 단조로운 자율주행 벤치마크에 기인한다고 분석한다. 다양한 웹 크롤링 데이터셋(CrowdHuman, WiderPedestrian)을 활용한 점진적 미세조정 파이프라인을 제안하며, 단일 데이터셋 벤치마크에서 유사한 성능를 보이는 반면, 데이터셋 간 일반화 능력에서는 컨볼루션 네트워크 기반 검출기가 트랜스포머를 능가함을 입증한다. 앙상블 모델은 CityPersons 및 EuroCityPersons에서 최고 성능을 기록한다.

ABSTRACT

Pedestrian detection is the cornerstone of many vision based applications, starting from object tracking to video surveillance and more recently, autonomous driving. With the rapid development of deep learning in object detection, pedestrian detection has achieved very good performance in traditional single-dataset training and evaluation setting. However, in this study on generalizable pedestrian detectors, we show that, current pedestrian detectors poorly handle even small domain shifts in cross-dataset evaluation. We attribute the limited generalization to two main factors, the method and the current sources of data. Regarding the method, we illustrate that biasness present in the design choices (e.g anchor settings) of current pedestrian detectors are the main contributing factor to the limited generalization. Most modern pedestrian detectors are tailored towards target dataset, where they do achieve high performance in traditional single training and testing pipeline, but suffer a degrade in performance when evaluated through cross-dataset evaluation. Consequently, a general object detector performs better in cross-dataset evaluation compared with state of the art pedestrian detectors, due to its generic design. As for the data, we show that the autonomous driving benchmarks are monotonous in nature, that is, they are not diverse in scenarios and dense in pedestrians. Therefore, benchmarks curated by crawling the web (which contain diverse and dense scenarios), are an efficient source of pre-training for providing a more robust representation. Accordingly, we propose a progressive fine-tuning strategy which improves generalization. Code and models can accessed at https://github.com/hasanirtiza/Pedestron.

연구 동기 및 목표

• 다른 데이터셋 간 보행자 검출기의 낮은 일반화 능력을 조사하며, 특히 소규모 도메인 이동 상황에서의 성능을 분석한다.
• 특히 목표 도메인에 맞게 설계된 앵커 기반 아키텍처의 특성으로 인해 발생하는 검출기의 아키텍처 편향이 일반화 능력 제한의 근본 원인임을 규명한다.
• 컨볼루션 네트워크(CNNs)와 트랜스포머 간의 백본 네트워크가 데이터셋 간 평가 조건에서 일반화 성능에 미치는 영향을 평가한다.
• 대규모이고 다양한 웹 크롤링 데이터셋(CrowdHuman, WiderPedestrian 등)이 단조로운 자율주행 벤치마크보다 사전 훈련에 더 효과적임을 입증한다.
• 점진적 미세조정 전략을 제안하고 검증하며, 향후 검출기 개발의 새로운 기준으로 데이터셋 간 평가를 권장한다.

제안 방법

• 다양하고 밀도 높은 보행자 데이터셋(CrowdHuman, WiderPedestrian)에서 사전 훈련한 후, 목표 데이터셋(CityPersons, EuroCityPersons)에서 미세조정하는 점진적 미세조정 파이프라인을 제안한다.
• 모든 실험에서 일관된 평가를 확보하기 위해 캐스케이드 R-CNN을 검출 헤드로 사용하며, 백본 간 공정한 비교를 가능하게 한다.
• 동일한 검출 헤드와 훈련 프로토콜을 사용하여 CNN과 트랜스포머 백본(예: ResNeXt, Swin-T)을 비교함으로써 백본 아키텍처가 일반화에 미치는 영향을 분리하여 분석한다.
• 다양한 데이터셋(CrowdHuman + WiderPededestrian)에서 사전 훈련된 모델의 검출 결과를 소프트-NMS를 활용해 앙상블 추론하여 강건성을 향상시킨다.
• 주요 평가 프로토콜로 데이터셋 간 평가를 도입하며, 한 데이터셋에서 훈련하고 다른 데이터셋에서 테스트함(예: CrowdHuman → CityPersons)으로 진정한 일반화 능력을 측정한다.
• 공식 벤치마크의 보류된 테스트 세트(CityPersons, EuroCityPersons)를 최종 평가에 사용하여 복제 가능성과 기존 공개 기준과의 공정성을 확보한다.

실험 결과

연구 질문

• RQ1 현재 최신 보행자 검출기가 다양한 데이터셋 간에서 얼마나 일반화되는가, 특히 소규모 도메인 이동 상황에서의 성능은 어떻게 되는가?
• RQ2 보행자 검출기의 아키텍처 설계 선택(예: 앵커 설정 등)이 낮은 일반화 능력에 기여하는 방식은 무엇인가?
• RQ3 데이터셋 간 평가 조건에서 트랜스포머 기반 백본이 CNN 기반 백본보다 더 나은 일반화 능력을 보이는가?
• RQ4 웹 크롤링 소스에서 확보한 대규모이고 다양한 데이터셋(CrowdHuman, WiderPedestrian 등)이 단조로운 자율주행 벤치마크보다 일반화 능력 향상에 더 효과적인가?
• RQ5 다양한 데이터셋을 활용한 점진적 사전 훈련 및 미세조정 파이프라인은 단순히 목표 도메인 데이터만으로 훈련하는 것보다 더 나은 일반화를 이끌어내는가?

주요 결과

• 현재 보행자 검출기는 단일 데이터셋 벤치마크에서 높은 성능를 보이지만, 데이터셋 간 평가에서는 심각한 성능 저하를 보이며 일반화 능력이 열악함을 시사한다.
• 일반적인 객체 검출기(Cascade R-CNN 등)가 전문화된 보행자 검출기보다 데이터셋 간 평가에서 뛰어난 성능를 보이며, 이는 전문화가 일반화 능력에 악영향을 준다는 것을 시사한다.
• 트랜스포머 기반 백본이 개별 벤치마크에서 더 높은 성능를 달성하나, 데이터셋 간 일반화 능력에서는 CNN 기반 백본이 뛰어나며, 이는 CNN이 도메인 이동에 더 강건함을 의미한다.
• CrowdHuman 및 WiderPedestrian와 같은 다양한 웹 크롤링 데이터셋에서 사전 훈련하면 일반화 능력이 크게 향상되며, CityPersons의 합리적 세트에서 AP가 8.35에서 7.69(앙상블)로 감소하고, ECP에서는 5.5에서 5.1로 감소한다.
• 제안된 점진적 미세조정 파이프라인과 앙상블 추론이 CityPersons 및 EuroCityPersons 랭킹에서 각각 1위와 2위를 기록하며, 공식 훈련 데이터만을 사용한 모든 기존 방법을 능가한다.
• 본 연구는 현재 자율주행 벤치마크가 시점 다양성과 보행자 밀도 측면에서 단조롭다는 점을 드러내며, 이로 인해 훈련된 검출기의 강건성이 제한됨을 밝히고, 더 다양한 사전 훈련 데이터의 필요성을 주장한다.