[论文解读] Deconstructing Self-Supervised Monocular Reconstruction: The Design Decisions that Matter

Jaime Spencer, Chris Russell+2 more|arXiv (Cornell University)|Aug 2, 2022

Advanced Vision and Imaging被引用 15

一句话总结

本文通过使用现代化设计选择重新实现16个SotA模型，对自监督单目深度估计方法进行了重新评估，发现仅通过主干网络升级即可实现约25%的性能提升——这一提升常超过新架构的贡献。本文提出了一个经过校正的基准和一个新的多样化数据集（SYNS-Patches），以揭示泛化失败问题，并纠正原始声明中对性能提升的高估。

ABSTRACT

This paper presents an open and comprehensive framework to systematically evaluate state-of-the-art contributions to self-supervised monocular depth estimation. This includes pretraining, backbone, architectural design choices and loss functions. Many papers in this field claim novelty in either architecture design or loss formulation. However, simply updating the backbone of historical systems results in relative improvements of 25%, allowing them to outperform the majority of existing systems. A systematic evaluation of papers in this field was not straightforward. The need to compare like-with-like in previous papers means that longstanding errors in the evaluation protocol are ubiquitous in the field. It is likely that many papers were not only optimized for particular datasets, but also for errors in the data and evaluation criteria. To aid future research in this area, we release a modular codebase (https://github.com/jspenmar/monodepth_benchmark), allowing for easy evaluation of alternate design decisions against corrected data and evaluation criteria. We re-implement, validate and re-evaluate 16 state-of-the-art contributions and introduce a new dataset (SYNS-Patches) containing dense outdoor depth maps in a variety of both natural and urban scenes. This allows for the computation of informative metrics in complex regions such as depth boundaries.

研究动机与目标

• 通过一致且公平的训练与评估协议，系统性地重新评估最先进的自监督单目深度估计方法。
• 识别并纠正长期存在的评估基准缺陷，这些缺陷曾导致先前研究中性能宣称被高估。
• 通过受控消融实验，隔离并评估架构与损失函数创新的真实影响。
• 通过引入一个新的多样化测试集（SYNS-Patches），评估模型在自动驾驶数据集之外的泛化能力。
• 通过发布模块化、开源的代码库，促进可复现研究，实现深度估计方法的一致比较。

提出的方法

• 从零开始重新实现16个SotA单目深度估计模型，使用统一的模块化代码库，以确保训练与评估的一致性。
• 在所有模型中标准化设计选择，包括现代主干网络（如ResNet-18、ResNet-50）、预训练方式和损失函数，以实现公平比较。
• 使用经过校正的真实深度数据，消除Kitti等传统基准中固有的错误。
• 引入SYNS-Patches，一个包含1175张图像的新测试数据集，涵盖多样化场景（如林地、城市住宅区、工业区、室内场景），用于评估泛化能力。
• 采用逐图像中值缩放进行深度对齐，并报告AbsRel、RMSE、基于边缘的准确率、完成度以及深度边界处的F-score等指标。
• 在未见过的数据上评估模型，不进行微调，以测试其在不同场景类别间的鲁棒性与可迁移性。

实验结果

研究问题

• RQ1 在公平、一致的条件下重新评估时，自监督单目深度估计中近期提出的架构与损失函数创新是否真正带来了性能提升？
• RQ2 先前SotA论文中报告的性能提升，有多少可归因于过时的基线模型和有缺陷的评估协议，而非新颖的组件？
• RQ3 在自动驾驶数据集上训练的模型，其泛化能力在复杂多样的真实世界场景（如林地和城市住宅区）中表现如何？
• RQ4 主干网络选择的真实影响是什么？其性能与近期方法论贡献相比如何？
• RQ5 当前模型在处理具有挑战性的深度不连续性和细长结构时表现如何？哪些指标揭示了持续存在的失败模式？

主要发现

• 使用现代主干网络（如ResNet-50）和标准化训练流程重新实现旧模型后，其性能相比原始版本提升了约25%。
• 许多近期SotA方法在公平条件下重新评估时，其相对性能增益显著降低——常常表现不如经过现代化改进的基线模型。
• Garg等人（2016）在KITTI和SYNS-Patches上均保持顶尖性能，尤其在3D重建和基于边缘的指标上表现优异。
• 所有模型在SYNS-Patches数据集上的性能均大幅下降，表明其在自动驾驶领域之外的泛化能力极差。
• 基于边缘的指标揭示了持续存在的问题：预测边缘的定位误差较小（约3px），但边缘完整性差（约26px误差），表明存在缺失的不连续性。
• Monodepth2及其变体在细长结构和物体边界上的准确性有所提升，但在复杂自然场景中仍表现不佳，凸显了当前方法的关键局限。