[论文解读] AugUndo: Scaling Up Augmentations for Monocular Depth Completion and Estimation

Yangchao Wu, Tian Yu Liu+4 more|arXiv (Cornell University)|Oct 15, 2023

Advanced Vision and ImagingComputer Science被引用 3

一句话总结

本文提出了一种名为 AugUndo 的新框架，通过在输出空间中‘撤销’几何变换，实现了无监督单目深度补全任务中广泛而深入的辐射度和几何数据增强。通过在计算重建损失前将预测的深度图反向映射回原始坐标系，AugUndo 消除了增强带来的伪影，同时保持了监督信号的质量，使现有方法在室内（VOID）和室外（KITTI）基准上平均性能提升 11.75%。

ABSTRACT

Unsupervised depth completion and estimation methods are trained by minimizing reconstruction error. Block artifacts from resampling, intensity saturation, and occlusions are amongst the many undesirable by-products of common data augmentation schemes that affect image reconstruction quality, and thus the training signal. Hence, typical augmentations on images viewed as essential to training pipelines in other vision tasks have seen limited use beyond small image intensity changes and flipping. The sparse depth modality in depth completion have seen even less use as intensity transformations alter the scale of the 3D scene, and geometric transformations may decimate the sparse points during resampling. We propose a method that unlocks a wide range of previously-infeasible geometric augmentations for unsupervised depth completion and estimation. This is achieved by reversing, or ``undo''-ing, geometric transformations to the coordinates of the output depth, warping the depth map back to the original reference frame. This enables computing the reconstruction losses using the original images and sparse depth maps, eliminating the pitfalls of naive loss computation on the augmented inputs and allowing us to scale up augmentations to boost performance. We demonstrate our method on indoor (VOID) and outdoor (KITTI) datasets, where we consistently improve upon recent methods across both datasets as well as generalization to four other datasets. Code available at: https://github.com/alexklwong/augundo.

研究动机与目标

• 解决由于辐射度和几何变换导致的重建伪影，限制了无监督深度补全中数据增强的使用。
• 克服标准增强方法引入的重采样、强度饱和和遮挡所导致的监督信号退化问题。
• 通过逆变换将模型预测与原始输入坐标对齐，使原本不可行的多种几何增强成为可能。
• 通过在训练过程中暴露模型于多样化的干扰变化，提升模型的泛化能力和鲁棒性。
• 提供一种即插即用的解决方案，无需架构修改或显著的计算开销即可增强现有深度补全模型。

提出的方法

• 在训练过程中对输入图像和稀疏深度图应用辐射度和几何增强（如亮度、对比度、旋转、翻转、缩放等）。
• 使用原始未增强的图像和稀疏深度图计算重建损失，避免由增强输入引入的伪影。
• 利用所应用几何变换的逆变换，将增强输入的预测深度图反向映射回原始坐标系。
• 该映射确保模型输出与真实监督目标对齐，从而在存在增强的情况下仍能准确计算损失。
• 该框架支持基于组的变换（如旋转、平移）和非群变换（如遮挡），并针对 11 种增强类型的组合进行了消融实验。
• 该方法与任何现有无监督深度补全模型兼容，并增加了可忽略的训练成本。

实验结果

研究问题

• RQ1 如果通过逆向映射校正模型输出，是否可以安全地应用传统上会降低监督质量的几何数据增强？
• RQ2 在无监督深度补全中，大规模扩展辐射度和几何增强能在多大程度上提升性能？
• RQ3 所提出的‘撤销’机制是否能保持或增强模型在未见环境中的泛化能力？
• RQ4 不同增强组合在多种数据集上的性能影响如何？
• RQ5 该方法是否可普遍应用于现有深度补全模型，且仅带来极少的架构或训练开销？

主要发现

• AugUndo 在 VOID 数据集上提升了所有评估模型（Monodepth2、HR-Depth、Lite-Mono），在室内和室外基准上平均性能提升 11.75%。
• 在 VOID 上，最具有挑战性的指标 δ<1.25，Monodepth2 从 0.717 提升至 0.724，HR-Depth 从 0.714 提升至 0.718，Lite-Mono 从 0.669 提升至 0.674。
• 在 VOID 上的 Abs Rel 指标，Monodepth2 从 0.183 降至 0.178，HR-Depth 从 0.185 降至 0.181，Lite-Mono 从 0.209 降至 0.200。
• 在 NYUv2 和 ScanNet 上的零样本泛化表现一致提升：Monodepth2 在 NYUv2 上的 RMSE 从 0.556 降至 0.537，在 ScanNet 上从 0.368 降至 0.351。
• 在 KITTI 上，AugUndo 将 δ<1.25 提升至：Monodepth2 从 0.869 提升至 0.879，HR-Depth 从 0.879 提升至 0.883，Lite-Mono 从 0.862 提升至 0.863。
• 该方法实现了与后续 SOTA 模型相当的性能增益，例如 Lite-Mono 相较 HR-Depth 的提升，以及 HR-Depth 相较 PackNet 的提升。