[論文レビュー] AURORA-KITTI: Any-Weather Depth Completion and Denoising in the Wild

Yiting Wang, Tim Brödermann+5 more|arXiv (Cornell University)|Mar 16, 2026

Advanced Vision and Imaging被引用数 0

ひとこと要約

論文は大規模な多モーダル・多天候ベンチマークであるAURORA-KITTIを紹介し、現実世界でのロバストな深度補完とノイズ除去のためのDDCDという蒸留ベースのベースラインを提案する。深度基盤モデルを活用して現実世界でのDCD性能を改善するクリーンな priors を注入する。

ABSTRACT

Robust depth completion is fundamental to real-world 3D scene understanding, yet existing RGB-LiDAR fusion methods degrade significantly under adverse weather, where both camera images and LiDAR measurements suffer from weather-induced corruption. In this paper, we introduce AURORA-KITTI, the first large-scale multi-modal, multi-weather benchmark for robust depth completion in the wild. We further formulate Depth Completion and Denoising (DCD) as a unified task that jointly reconstructs a dense depth map from corrupted sparse inputs while suppressing weather-induced noise. AURORA-KITTI contains over extit{82K} weather-consistent RGBL pairs with metric depth ground truth, spanning diverse weather types, three severity levels, day and night scenes, paired clean references, lens occlusion conditions, and textual descriptions. Moreover, we introduce DDCD, an efficient distillation-based baseline that leverages depth foundation models to inject clean structural priors into in-the-wild DCD training. DDCD achieves state-of-the-art performance on AURORA-KITTI and the real-world DENSE dataset while maintaining efficiency. Notably, our results further show that weather-aware, physically consistent data contributes more to robustness than architectural modifications alone. Data and code will be released upon publication.

研究の動機と目的

• 悪天候下でRGB画像とLiDARの両方が劣化する状況で、堅牢な深度補完を動機づける。
• 野外でのRGB-LiDARデータの密な深度グラウンドトゥルースを備えた大規模かつ多天候のベンチマークを提供する。
• Depth Completion and Denoising (DCD) を、密な深度を再構築し天候ノイズを抑制する統一タスクとして定式化する。
• DDCD という、深度基盤モデルを活用してDCDの訓練にクリーンな構造 priors を注入する蒸留ベースのベースラインを導入する。
• 天候を意識したデータが、アーキテクチャ変更だけよりロバスト性に与える影響を実証する。

提案手法

• AURORA-KITTIを導入する。82K以上の天候一貫性RGBLペアと多様な天候タイプ、深さの地上 truth を備え、時刻・日中に関係なく広範な天候でカバーする。
• DCDを、破損したスパース入力からの深度補完とデノイジングを統合した統一タスクとして定義する。
• DDCDを提案する。深度基盤モデルを活用して現実世界のDCD訓練にクリーンな構造 priors を注入する蒸留ベースのベースライン。
• 天候を考慮した物理的一貫性のあるデータが、アーキテクチャの変更以上にロバスト性に寄与することを示す。
• AURORA-KITTIおよび実世界のDENSEデータセットで最先端の性能を示す実証結果を提供する。

実験結果

リサーチクエスチョン

• RQ1 野外の diverse 天候条件下で、深度補完とデノイジングをどのように堅牢に実行できるか？
• RQ2 深度基盤モデルからのクリーンな priors を注入する蒸留ベースのアプローチは、現実世界のDCD性能を改善するか？
• RQ3 DCDにおける天候を意識したデータ対、アーキテクチャの変更の相対寄与率はどれくらいか？
• RQ4 DDCDはAURORA-KITTIおよびDENSEデータセットで既存ベースラインと比較してどの程度性能を発揮するか？

主な発見

• AURORA-KITTIには、メトリック深度地と結合した82Kを超える天候一貫性RGBLペアが含まれている。
• DDCDは、現実世界のDCD訓練にクリーンな構造 priors を注入する効率的な蒸留ベースのベースラインである。
• DDCDは、AURORA-KITTIおよび実世界のDENSEデータセットで最先端の性能を達成しつつ、効率性を維持する。
• 天候を意識した物理的一貫性のあるデータは、アーキテクチャの変更だけよりロバスト性に寄与する。