[논문 리뷰] When the City Teaches the Car: Label-Free 3D Perception from Infrastructure

Zhen Xu, Jinsu Yoo외 8명|arXiv (Cornell University)|2026. 03. 17.

Advanced Neural Network Applications인용 수 0

한 줄 요약

이 논문은 정지된 도로변 장치(RSU)가 레이블 없는 데이터에서 학습하고, 오프라인에서 자가 차량 탐지기를 학습시키기 위해 의사 레이블을 제공하는 인프라스처-초 학습된 3D 인지 방법을 제안하며, CARLA CIVET에서 차량에 대한 82.3% AP를 달성하고 감독 상한인 94.4%에 근접합니다.

ABSTRACT

Building robust 3D perception for self-driving still relies heavily on large-scale data collection and manual annotation, yet this paradigm becomes impractical as deployment expands across diverse cities and regions. Meanwhile, modern cities are increasingly instrumented with roadside units (RSUs), static sensors deployed along roads and at intersections to monitor traffic. This raises a natural question: can the city itself help train the vehicle? We propose infrastructure-taught, label-free 3D perception, a paradigm in which RSUs act as stationary, unsupervised teachers for ego vehicles. Leveraging their fixed viewpoints and repeated observations, RSUs learn local 3D detectors from unlabeled data and broadcast predictions to passing vehicles, which are aggregated as pseudo-label supervision for training a standalone ego detector. The resulting model requires no infrastructure or communication at test time. We instantiate this idea as a fully label-free three-stage pipeline and conduct a concept-and-feasibility study in a CARLA-based multi-agent environment. With CenterPoint, our pipeline achieves 82.3% AP for detecting vehicles, compared to a fully supervised ego upper bound of 94.4%. We further systematically analyze each stage, evaluate its scalability, and demonstrate complementarity with existing ego-centric label-free methods. Together, these results suggest that city infrastructure itself can potentially provide a scalable supervisory signal for autonomous vehicles, positioning infrastructure-taught learning as a promising orthogonal paradigm for reducing annotation cost in 3D perception.

연구 동기 및 목표

• 다양한 도시에서 고정된 RSU를 비감독 교사로 활용하여 3D 인식의 주석 비용을 줄이는 것을 동기 부여합니다.
• RSU가 레이블 없는 데이터에서 학습하고 예측을 의사 레이블로 방송하며 오프라인에서 자가 탐지기를 학습시키는 완전한 무레이블 세 단계 파이프라인을 개발합니다.
• 시뮬레이션된 다도시 환경에서 가능성, 확장성, 자가 중심 무레이블 방법과의 보완성을 체계적으로 연구합니다.

제안 방법

• 1단계: 무감독 RSU 학습에서 각 RSU는 시간적 일관성과 지속성 기반 의사 레이블을 사용하여 위치 특화 탐지기를 학습합니다.
• 2단계: RSU가 지나가는 자가 차량에게 예측을 방송합니다; 자가는 거리 가중 NMS와 간단한 클래스 매칭으로 이를 의사 레이블로 집계합니다.
• 3단계: 오프라인에서 집계된 인프라 기반 의사 레이블을 사용하여 자가 탐지기 학습을 진행하여 테스트 시 독립 실행형 자가 모델을 얻습니다.
• 평가는 BEV AP 지표의 CenterPoint 및 PointPillars 탐지기를 기반으로 하며, 통신 노이즈 및 의사 레이블 정제의 영향을 분석합니다.
• 데이터셋 CIVET은 CARLA 및 V2XVerse에서 4개 도시와 도시당 12개의 RSU로 구성되어 지리 특이적 감독 및 확장성을 연구합니다.

Figure 1 : Can city infrastructure teach vehicles to perceive? We explore a new paradigm where roadside infrastructure acts as distributed teachers, providing supervision to train ego perception models without manual annotations.

실험 결과

연구 질문

• RQ1 정지형 RSU가 레이블 없는 관찰로부터 신뢰할 수 있는 무레이블 탐지기를 학습할 수 있는가?
• RQ2 RSU가 생성한 의사 레이블이 테스트 시 infrastructure 없이도 작동하는 경쟁력 있는 자가 탐지기를 학습시킬 수 있는가?
• RQ3 RSU 수, 배치, 통신 노이즈와 같은 요인이 다운스트림 자가 성능에 어떤 영향을 미치는가?
• RQ4 인프라스트럭처 생성 의사 레이블이 자가 중심의 무감독 방법을 보완하고 도시 간 일반화 가능성을 높여주는가?

주요 결과

• 완전 무레이블 파이프라인은 한 도시 내 차량에 대해 82.3% AP를 달성하며 감독 상한인 94.4%에 근접합니다.
• 네 도시에서 RSU 감독의 집계로 학습할 때 82.7% AP와 상한 91.0%를 달성했습니다.
• 추적 및 무감독 RSU 학습은 의사 레이블 품질과 자가 성능을 향상시키며, 통신 노이즈는 특히 보행자 위치 추정에 악영향을 미칩니다.
• 보조 정제(상자 정제)는 노이즈 조건에서 의사 레이블 품질과 자가 AP를 향상시킵니다.
• 인프라 의사 레이블과 자가 중심 방법(예: Oyster)을 결합하면 추가 성능 향상이 있습니다.
• RSU 탐지기는 위치 특이적이며 다른 RSU 관점으로 직접 일반화되지 않으므로 분산된 교사 앙상블의 필요성을 시사합니다.

Figure 2 : Overview of infrastructure-taught, label-free 3D perception. Stage 1: each RSU learns a location-specialized detector in an unsupervised manner by exploiting temporal consistency from its stationary viewpoint. Stage 2: trained RSUs broadcast their predicted 3D bounding boxes to nearby ego