[논문 리뷰] Can we Trust Unreliable Voxels? Exploring 3D Semantic Occupancy Prediction under Label Noise

Wenxin Li, Kunyu Peng외 7명|arXiv (Cornell University)|2026. 03. 06.

Adversarial Robustness in Machine Learning인용 수 0

한 줄 요약

논문은 레이블 노이즈 하의 3D 의미론적 점유 예측을 위한 첫 벤치마크인 OccNL을 소개하고, 복셀 수준의 레이블 손상에 강건하게 대응하는 이중 소스 부분-레이블 프레임워크인 DPR-Occ를 제시합니다. 이는 SemanticKITTI에서 극심한 노이즈 하의 강력한 성능 향상을 보여줍니다.

ABSTRACT

3D semantic occupancy prediction is a cornerstone of robotic perception, yet real-world voxel annotations are inherently corrupted by structural artifacts and dynamic trailing effects. This raises a critical but underexplored question: can autonomous systems safely rely on such unreliable occupancy supervision? To systematically investigate this issue, we establish OccNL, the first benchmark dedicated to 3D occupancy under occupancy-asymmetric and dynamic trailing noise. Our analysis reveals a fundamental domain gap: state-of-the-art 2D label noise learning strategies collapse catastrophically in sparse 3D voxel spaces, exposing a critical vulnerability in existing paradigms. To address this challenge, we propose DPR-Occ, a principled label noise-robust framework that constructs reliable supervision through dual-source partial label reasoning. By synergizing temporal model memory with representation-level structural affinity, DPR-Occ dynamically expands and prunes candidate label sets to preserve true semantics while suppressing noise propagation. Extensive experiments on SemanticKITTI demonstrate that DPR-Occ prevents geometric and semantic collapse under extreme corruption. Notably, even at 90% label noise, our method achieves significant performance gains (up to 2.57% mIoU and 13.91% IoU) over existing label noise learning baselines adapted to the 3D occupancy prediction task. By bridging label noise learning and 3D perception, OccNL and DPR-Occ provide a reliable foundation for safety-critical robotic perception in dynamic environments. The benchmark and source code will be made publicly available at https://github.com/mylwx/OccNL.

연구 동기 및 목표

• Voxel 수준의 레이블 노이즈가 3D 의미 점유 예측에 미치는 영향을 연구하고 현재 방법에 미치는 영향을 계량합니다.
• Occupancy asymmetric and dynamic trailing noise 하에서 컨트롤 가능한 첫 벤치마크로 OccNL을 제안합니다.
• 듀얼 소스 부분-레이블 추론을 통해 레이블 노이즈를 완화하는 강건 학습 프레임워크(DPR-Occ)를 개발합니다.
• 제안된 접근 방식이 실제 데이터 세트에서 극심한 노이즈 하에 기하학적 구조와 의미 정보를 보존함을 보여줍니다.

제안 방법

• OccNL을 도입합니다. 이 벤치마크는 occupancy-asymmetric voxel noise와 실제 세계 trailing noise를 포함합니다.
• 3D 점유에 대해 이미지 도메인에서의 레이블 노이즈 강건성 전략 다섯 가지를 적용하고 그 실패를 보여줍니다.
• DPR-Occ를 제안합니다. 이는 EMA 교사와 프로토타입 친화도에서 이중 소스 부분-레이블을 사용합니다.
• 동적-K 스케줄링, 부분-레이블 학습, 음수 학습, 그리고 EMA 주도 자기 증류를 포함하는 두 단계의 학습 프로세스를 사용합니다.
• 노이즈 억제를 위한 PLL, NL, SNTD를 EMA 감독과 함께 결합한 강건한 손실 구성 을 사용합니다.

실험 결과

연구 질문

• RQ1 voxel 공간에서의 레이블 노이즈가 3D 의미 점유 예측에 어떤 영향을 미치는가?
• RQ2 2D 이미지-레이블 노이즈 전략을 3D 점유로 옮겨도 붕괴 없이 작동하는가?
• RQ3 이중 소스 부분-레이블 접근법이 복셀 수준 노이즈에 대한 강건성을 향상시킬 수 있는가?
• RQ4 SemanticKITTI에서 극심한 노이즈 하에 실제 정답 보존 및 의미 정확도의 이점은 무엇인가?
• RQ5 동적 trailing 아티팩트가 3D 점유 작업에서 모델의 강건성과 어떻게 상호작용하는가?

주요 결과

• OccNL은 두 단계의 악화 패턴을 보여줍니다: 저노이즈 구간에서 기하학은 안정적이지만 임의의 임계점을 넘으면 의미 및 희소 범주 성능이 붕괴합니다.
• 최신 이미지 노이즈 강건 방법은 90% 복셀 노이즈에서 붕괴하며, 특히 드문 동적 범주에서 그렇습니다.
• DPR-Occ는 극심한 노이즈 하에서도 기하학적 IoU와 의미적 mIoU를 유지하며, 특정 설정에서 기초 모델 대비 IoU 최대 2.57%, IoU 최대 13.91%를 초과합니다.
• DPR-Occ의 이중 소스 부분-레이블 추론과 EMA 주도 증류는 붕괴를 방지하고 동적 객체 구분 능력을 보존합니다.
• Dynamic-K 스케줄링과 PLL/NL/SNTD 손실은 합성 및 실제 trailing noise 전반에서 안정적인 성능에 기여합니다.
• SemanticKITTI에 대한 실험은 여러 노이즈 체제에서 baselines에 비해 현저한 개선을 보여줍니다.