[论文解读] Monocular Depth Estimation with Self-supervised Instance Adaptation

Robert McCraith, Lukáš Neumann+2 more|arXiv (Cornell University)|Apr 13, 2020

Advanced Vision and Imaging参考文献 46被引用 20

一句话总结

本文提出一种自监督实例自适应方法，通过在推理时利用多视角一致性微调模型权重，实现单目深度估计的性能提升，无需依赖3D真实值。该方法在KITTI数据集上实现了平均绝对误差25%的降低，性能达到完全监督SOTA方法的水平，优于以往的自监督方法。

ABSTRACT

Recent advances in self-supervised learning havedemonstrated that it is possible to learn accurate monoculardepth reconstruction from raw video data, without using any 3Dground truth for supervision. However, in robotics applications,multiple views of a scene may or may not be available, depend-ing on the actions of the robot, switching between monocularand multi-view reconstruction. To address this mixed setting,we proposed a new approach that extends any off-the-shelfself-supervised monocular depth reconstruction system to usemore than one image at test time. Our method builds on astandard prior learned to perform monocular reconstruction,but uses self-supervision at test time to further improve thereconstruction accuracy when multiple images are available.When used to update the correct components of the model, thisapproach is highly-effective. On the standard KITTI bench-mark, our self-supervised method consistently outperformsall the previous methods with an average 25% reduction inabsolute error for the three common setups (monocular, stereoand monocular+stereo), and comes very close in accuracy whencompared to the fully-supervised state-of-the-art methods.

研究动机与目标

• 解决机器人领域中单目与多视角数据共存时深度估计不一致的挑战。
• 利用多视角自监督机制，在推理过程中实现深度预测的动态优化。
• 开发一种无需微调即可增强现有自监督单目深度模型的方法，实现测试时自适应。
• 在保持完全自监督的同时，实现接近完全监督SOTA方法的性能。
• 通过序列化自适应确保长视频序列中的鲁棒性与时间一致性。

提出的方法

• 在推理阶段应用标准自监督学习损失（例如，通过图像扭曲实现图像重建），以优化深度预测结果。
• 仅通过反向传播优化预训练模型的特定组件（例如，深度编码器权重），利用多帧一致性进行优化。
• 采用实例级自适应：针对每张图像独立更新模型权重，使用50次SGD步长并设置较高的初始学习率。
• 实施序列化自适应：通过每帧仅5次更新来维护并更新模型权重，以提升效率。
• 在使用立体对时，利用已知的立体基线约束位姿估计，将自适应重点集中于深度特征。
• 将该方法同时应用于单目和立体输入，在推理过程中无缝融合不同类型的数据。

实验结果

研究问题

• RQ1 自监督学习原则能否扩展至利用多视角数据在推理阶段提升深度估计性能？
• RQ2 利用视频一致性在测试时自适应模型权重是否能显著优于标准自监督方法？
• RQ3 该方法能否在不发生模型漂移的情况下，长期保持准确性和稳定性？
• RQ4 在准确性和推理速度方面，实例级自适应与序列化自适应相比表现如何？
• RQ5 该方法能否泛化至混合单目与立体输入，并实现接近完全监督SOTA的性能？

主要发现

• 所提方法在KITTI的三个基准（单目、立体、单目+立体）上均实现了平均25%的绝对误差降低。
• 在KITTI Odometry 9序列中，该方法将绝对相对误差从基线的0.454降低至0.291（序列化自适应），进一步降低至0.222（实例级自适应）。
• 实例级自适应策略优于所有先前的自监督方法，在KITTI上与完全监督的DORN方法相比仅相差1.5%。
• 序列化自适应在准确度上与实例级自适应相当，但速度提升10倍，适用于实时部署。
• 该方法在长序列中保持稳定（例如4981帧），尽管经历了超过24,000次参数更新，未观察到发散现象。
• 该方法对不同输入类型（包括单目、立体及混合数据）具有鲁棒性，且无需微调即可应用。