[论文解读] Hierarchical Normalization for Robust Monocular Depth Estimation

Chi Zhang, Wei Yin+4 more|arXiv (Cornell University)|Oct 18, 2022

Advanced Vision and Imaging被引用 8

一句话总结

本文提出分层深度归一化（HDN），一种多尺度归一化策略，通过在空间域和深度域中分组上下文信息，保留细粒度深度细节，从而提升单目深度估计性能。通过在多个分层级别对深度表征进行归一化，HDN优于实例级归一化，在五个零样本迁移基准上实现新的 SOTA 性能，显著提升了精度和边缘锐度。

ABSTRACT

In this paper, we address monocular depth estimation with deep neural networks. To enable training of deep monocular estimation models with various sources of datasets, state-of-the-art methods adopt image-level normalization strategies to generate affine-invariant depth representations. However, learning with image-level normalization mainly emphasizes the relations of pixel representations with the global statistic in the images, such as the structure of the scene, while the fine-grained depth difference may be overlooked. In this paper, we propose a novel multi-scale depth normalization method that hierarchically normalizes the depth representations based on spatial information and depth distributions. Compared with previous normalization strategies applied only at the holistic image level, the proposed hierarchical normalization can effectively preserve the fine-grained details and improve accuracy. We present two strategies that define the hierarchical normalization contexts in the depth domain and the spatial domain, respectively. Our extensive experiments show that the proposed normalization strategy remarkably outperforms previous normalization methods, and we set new state-of-the-art on five zero-shot transfer benchmark datasets.

研究动机与目标

• 为解决实例级归一化在单目深度估计中的局限性，该方法强调全局场景结构，但忽略了细粒度深度差异。
• 设计一种归一化策略，在训练过程中平衡全局场景结构与局部深度细节的保留。
• 实现跨多样化深度标注数据集的混合训练，有效处理尺度和偏移不一致的问题。
• 通过增强模型对真实世界图像变化的鲁棒性，提升零样本泛化能力。
• 开发一种灵活的归一化机制，可在空间域和深度域中运行，并支持可配置的上下文层级。

提出的方法

• 提出分层深度归一化（HDN），通过在空间域和深度域中使用多尺度上下文对深度表征进行归一化。
• 在空间域中，将图像划分为网格，按单元进行归一化，以突出局部深度差异。
• 在深度域中，根据真实深度值将像素分组到不同区间，实现基于深度大小的上下文感知归一化。
• 在训练过程中结合多个归一化层级，以平衡局部细节与全局结构。
• 该方法使用可学习的归一化损失，以保留不同上下文尺度之间的相对深度差异。
• 该方法可无缝集成到标准单目深度估计网络中，无需架构修改。

实验结果

研究问题

• RQ1 与实例级归一化相比，分层归一化是否能提升细粒度深度细节的保留？
• RQ2 在空间域和深度域中采用多尺度归一化，是否能提升在多样化基准上的零样本泛化能力？
• RQ3 分层上下文层级的数量如何影响模型性能与鲁棒性？
• RQ4 HDN 是否能有效处理混合数据集训练中因深度尺度不一致导致的领域偏移？
• RQ5 在零样本迁移设置下，所提方法是否优于当前 SOTA 模型？

主要发现

• HDN-S（仅空间域）在 KITTI 基准上将 AbsRel 降低至 8.58，优于实例级归一化（9.81）。
• HDN-DR（空间与深度域结合）在 NYU 上实现 6.9 的 AbsRel，相比之前 SOTA（9.0）提升 24.3%。
• 在 ETH3D 上，HDN-DR 实现 8.0 的 AbsRel 和 83.3% 的 δ1，两项指标均创下新 SOTA。
• 该方法在五个零样本迁移基准（包括 DIODE、KITTI、NYU、ScanNet 和 ETH3D）上持续优于基线模型。
• 消融实验表明，使用多层级上下文可提升性能，而仅依赖最低层级则会损害精度。
• 定性结果表明，与实例级归一化相比，HDN 生成的表面更平滑，边缘更锐利，预测细节更丰富。