[논문 리뷰] TSBOW: Traffic Surveillance Benchmark for Occluded Vehicles Under Various Weather Conditions

Ngoc Doan-Minh Huynh, Duong Nguyen‐Ngoc Tran외 11명|arXiv (Cornell University)|2026. 02. 05.

Advanced Neural Network Applications인용 수 0

한 줄 요약

TSBOW는 다양-weather에서 가려진 차량에 대한 대규모 CCTV 기반 교통 감시 벤치마크로, 3.2M 프레임과 여덟 클래스를 포함하며, 반자동 주석과 YOLOv8/11/12 및 RT-DETR를 사용한 기준선 객체 탐지 결과를 제공합니다.

ABSTRACT

Global warming has intensified the frequency and severity of extreme weather events, which degrade CCTV signal and video quality while disrupting traffic flow, thereby increasing traffic accident rates. Existing datasets, often limited to light haze, rain, and snow, fail to capture extreme weather conditions. To address this gap, this study introduces the Traffic Surveillance Benchmark for Occluded vehicles under various Weather conditions (TSBOW), a comprehensive dataset designed to enhance occluded vehicle detection across diverse annual weather scenarios. Comprising over 32 hours of real-world traffic data from densely populated urban areas, TSBOW includes more than 48,000 manually annotated and 3.2 million semi-labeled frames; bounding boxes spanning eight traffic participant classes from large vehicles to micromobility devices and pedestrians. We establish an object detection benchmark for TSBOW, highlighting challenges posed by occlusions and adverse weather. With its varied road types, scales, and viewpoints, TSBOW serves as a critical resource for advancing Intelligent Transportation Systems. Our findings underscore the potential of CCTV-based traffic monitoring, pave the way for new research and applications. The TSBOW dataset is publicly available at: https://github.com/SKKUAutoLab/TSBOW.

연구 동기 및 목표

• 극심한 기상 상황과 CCTV 교통 감시에서의 견고한 차량 탐지를 동기화한다.
• 도시 도로, 교차로, 재난 상황에 걸친 모든 계절을 포괄하는 대규모 다중 시나리오 데이터셋을 제공합니다.
• 고품질의 Ground Truth를 생성하고 지능형 운송 시스템 연구를 가능하게 하는 반자동 주석 파이프라인을 개발합니다.
• 가려짐과 악천후 하에서의 성능 평가를 위한 기준선 객체 탐지 벤치마크를 확립합니다.

제안 방법

• ROI 전처리, 수동 라벨링, 미세 조정된 YOLOv12x를 이용한 자동 라벨링, 검증 및 후처리를 포함하는 반자동 반복 주석 파이프라인을 개발합니다.
• TSBOW를 구성합니다: 198 동영상, 3.2M 프레임, 71.1M 바운딩 박스, 여덟 개 클래스(차량, 버스, 트럭, 소형 트럭, 마이크로모빌리티, 보행자, 미확인, 기타).
• COCO에 대해 사전 학습되고 TSBOW에서 1280 px 해상도로 미세 조정된 YOLOv8x, YOLOv11x, YOLOv12x, RT-DETR-x를 사용하여 기준선을 평가합니다.
• 날씨, 도로 유형, 규모, 가려짐 수준에 따른 탐지 성능을 분석하여 가려진 물체 탐지에 대한 도전 과제를 이해합니다.

실험 결과

연구 질문

• RQ1 가려짐과 악천후가 CCTV 기반 교통 영상의 객체 탐지 성능에 어떤 영향을 미치나요?
• RQ2 diverse하고 가려짐이 풍부하며 기상 변화가 있는 데이터셋으로 학습된 현재 모델(YOLOv8/11/12, RT-DETR)의 탐지 능력과 한계는 무엇인가요?
• RQ3 TSBOW에서의 학습이 도시 대로변과 재난 조건을 포함한 교통 감시 시나리오의 도메인 간 강인성을 향상시키나요?
• RQ4 크게 영향을 주는 요소들(예: 스케일, 도로 유형, 기상 조건)이 TSBOW 내에서 탐지 정확도에 어떤 영향을 미치나요?

주요 결과

• YOLOv12x는 수동으로 라벨링된 테스트 세트에서 가장 높은 전반적인 정확도와 mAP 지표를 달성합니다(정밀도 0.806, 재현율 0.662, mAP50 0.744, mAP50-95 0.615).
• RT-DETR-x는 재현율이 가장 높지만 정밀도와 위치화 지표는 더 낮습니다(정밀도 0.731, 재현율 0.740, mAP50 0.718, mAP50-95 0.552).
• TSBOW에서 학습된 모델은 UAVDT나 UA-DETRAC에서 학습된 모델보다 교차 데이터셋 비교에서 정밀도와 재현율의 균형을 더 잘 맞춥니다(예: TSBOW의 YOLOv12x가 비교 세트에서 더 높은 재현율 및 mAP50/mAP50-95를 보고).
• TSBOW는 32.36시간의 영상, 3.2M 프레임, 198개 동영상, 8개 객체 클래스, 네 계절과 다양한 도로 유형에 걸친 광범위한 가려짐 및 악천후 다양성을 포함합니다(강한 안개 및 눈 포함).
• 데이터셋에는 71.1백만 개의 바운딩 박스가 포함되며, 클래스 분포가 균형되고 가려짐 변동성이 큰 편집으로 구성되어 교통 감시에서 가려진 물체 탐지의 강력한 벤치마크를 제공합니다.