[论文解读] AURORA-KITTI: Any-Weather Depth Completion and Denoising in the Wild

Yiting Wang, Tim Brödermann+5 more|arXiv (Cornell University)|Mar 16, 2026

Advanced Vision and Imaging被引用 0

一句话总结

论文介绍了 AURORA-KITTI，这是一个用于鲁棒深度完成与去噪的“大规模、多模态、多天气”基准，在野外环境中，并提出 DDCD，这是一个蒸馏式基线，利用深度基础模型为在野外 DCD 性能注入干净的先验。

ABSTRACT

Robust depth completion is fundamental to real-world 3D scene understanding, yet existing RGB-LiDAR fusion methods degrade significantly under adverse weather, where both camera images and LiDAR measurements suffer from weather-induced corruption. In this paper, we introduce AURORA-KITTI, the first large-scale multi-modal, multi-weather benchmark for robust depth completion in the wild. We further formulate Depth Completion and Denoising (DCD) as a unified task that jointly reconstructs a dense depth map from corrupted sparse inputs while suppressing weather-induced noise. AURORA-KITTI contains over extit{82K} weather-consistent RGBL pairs with metric depth ground truth, spanning diverse weather types, three severity levels, day and night scenes, paired clean references, lens occlusion conditions, and textual descriptions. Moreover, we introduce DDCD, an efficient distillation-based baseline that leverages depth foundation models to inject clean structural priors into in-the-wild DCD training. DDCD achieves state-of-the-art performance on AURORA-KITTI and the real-world DENSE dataset while maintaining efficiency. Notably, our results further show that weather-aware, physically consistent data contributes more to robustness than architectural modifications alone. Data and code will be released upon publication.

研究动机与目标

• 在恶劣天气下让 RGB 图像和 LiDAR 都可能被污染的情况下，动机于鲁棒的深度完成。
• 提供一个大规模、多天气的野外 RGB-LiDAR 数据对齐的密集深度基准。
• 将 Depth Completion and Denoising (DCD) 作为一个统一任务，重建密集深度并抑制天气噪声。
• 引入一个基线（DDCD），使用深度基础模型在 DCD 训练中注入干净的结构先验。
• 展示天气感知数据对鲁棒性的提升作用相对于仅仅改动架构的影响。

提出的方法

• 引入 AURORA-KITTI，这是一个包含超过 82K 对天气一致的 RGBL 搭配和地表真值深度的数据集，覆盖多样的天气类型、严重程度和一天中的时间。
• 将 DCD 定义为一个统一任务，将从受污染的稀疏输入中进行深度完成与去噪声的过程结合起来。
• 提出 DDCD，这是一个蒸馏式基线，利用深度基础模型在在野 DCD 训练中注入干净的结构先验。
• 证明天气感知、物理上一致的数据对鲁棒性有显著贡献，超越仅仅的架构修改。
• 提供实证结果，显示在 AURORA-KITTI 和真实世界的 DENSE 数据集上达到最先进的性能。

实验结果

研究问题

• RQ1 在野外 diverse 天气条件下，如何鲁棒地执行深度完成和去噪？
• RQ2 是否通过蒸馏式方法从深度基础模型注入干净先验能提升在野 DCD 的性能？
• RQ3 天气感知数据相对于架构修改对 DCD 的鲁棒性有何贡献？
• RQ4 与现有基线相比，DDCD 在 AURORA-KITTI 与 DENSE 数据集上的表现如何？

主要发现

• AURORA-KITTI 包含超过 82K 对天气一致的 RGBL 搭配，且具有度量深度真值。
• DDCD 是一个高效的蒸馏式基线，在在野 DCD 训练中注入干净的结构先验。
• DDCD 在 AURORA-KITTI 和真实世界的 DENSE 数据集上达到最先进的性能，同时保持高效性。
• 天气感知、物理一致的数据对鲁棒性贡献大于仅仅的架构修改。