[论文解读] DFormer: Rethinking RGBD Representation Learning for Semantic Segmentation
DFormer 在图像-深度对上预训练 RGB-D 骨干网络(不仅仅是 RGB),并引入 RGB-D 块在编码器内紧密融合 RGB 和深度,实现 RGB-D 语义分割和 RGB-D 显著目标检测的 state-of-the-art,同时计算成本更低。
We present DFormer, a novel RGB-D pretraining framework to learn transferable representations for RGB-D segmentation tasks. DFormer has two new key innovations: 1) Unlike previous works that encode RGB-D information with RGB pretrained backbone, we pretrain the backbone using image-depth pairs from ImageNet-1K, and hence the DFormer is endowed with the capacity to encode RGB-D representations; 2) DFormer comprises a sequence of RGB-D blocks, which are tailored for encoding both RGB and depth information through a novel building block design. DFormer avoids the mismatched encoding of the 3D geometry relationships in depth maps by RGB pretrained backbones, which widely lies in existing methods but has not been resolved. We finetune the pretrained DFormer on two popular RGB-D tasks, i.e., RGB-D semantic segmentation and RGB-D salient object detection, with a lightweight decoder head. Experimental results show that our DFormer achieves new state-of-the-art performance on these two tasks with less than half of the computational cost of the current best methods on two RGB-D semantic segmentation datasets and five RGB-D salient object detection datasets. Our code is available at: https://github.com/VCIP-RGBD/DFormer.
研究动机与目标
- 直接在骨干网络内激励 RGB-D 表征学习,以避免预训练与下游 RGB-D 任务之间的分布不匹配。
- 设计一个 RGB-D 编码器,其块在预训练和微调阶段原生地融合 RGB 与深度信息。
- 证明深度通道可以比 RGB 使用更少的通道进行编码,以在不牺牲性能的前提下减少模型尺寸。
- 在 RGB-D 语义分割和 RGB-D 显著目标检测方面展示 state-of-the-art,在计算量低于先前方法的情况下。
提出的方法
- 提出 DFormer,一种 RGB-D 预训练框架,在预训练阶段使用图像-深度对作为输入,从而在没有 RGB 骨干网络错配的情况下实现 RGB-D 表征。
- 引入一个分层的 RGB-D 编码器,具备在每个块内通过 Global Awareness Attention (GAA) 和 Local Enhancement Attention (LEA) 模块进行跨模态交互的 RGB-D 块。
- GAA 在从 RGB-D 特征降采样的查询中融合 RGB 和深度,并使用 RGB 派生的键/值,从而降低计算。
- LEA 使用对 depth 特征的大核深度卷积生成注意力权重,并通过 Hadamard 乘积对 RGB 特征进行重新加权。
- 一个基础模块对 RGB 特征进行转换;融合后的特征经过拼接和线性投影以更新 RGB 和深度特征。
- 预训练使用通过深度估计器生成的 ImageNet-1K 图像-深度对,随后进行分类目标和标准优化设置(AdamW,1e-3 学习率,300 轮)。
- 对于下游任务,在预训练的 RGB-D 骨干网络之上使用一个轻量级解码头(解码器仅使用 RGB 特征进行分割)。
实验结果
研究问题
- RQ1在图像-深度对上的 RGB-D 预训练是否能为下游 RGB-D 任务带来可迁移的 RGB-D 表征?
- RQ2在 RGB-D 块内整合 RGB 与深度的交互相比双骨干融合方法是否能提高效率和精度?
- RQ3相对于 RGB 通道,优化的深度通道预算用于高效的 RGB-D 编码是多少?
- RQ4经过 RGB-D 预训练的骨干网络在减少计算量的情况下,是否能在 RGB-D 分割和 RGB-D 显著目标检测任务上实现泛化?
主要发现
- DFormer 在 NYU Depthv2 上达到新的 state-of-the-art mIoU(57.2% 使用 DFormer-L),并在 SUN-RGBD 上取得强结果,计算量不到许多先前方法的一半。
- DFormer-T/S/B/L 变体在准确性与计算量之间提供有利的权衡,其中 DFormer-L 在 NYU Depthv2 上以 65.7G FLOPs 和 39.0M 参数达到 57.2% mIoU。
- RGB-D 预训练比仅 RGB 预训练带来可衡量的提升(例如 DFormer-B 在 NYU Depthv2 上的 mIoU 提升 2.3%。)
- 在下游解码器中仅使用 RGB 特征就足以获得竞争性性能,从而实现更轻量的解码器设计和更低的推理成本。
- 深度特征仅需要极少的通道(默认比例设为 1/2)就能取得强结果,在不损害准确性的前提下降低模型尺寸。
- 消融研究显示 RGB-D 块的组成部分(Base、GAA、LEA)各自对性能有贡献,其中 Hadamard 加权的 LEA 融合提供了稳健的局部深度–RGB 交互。
- RGB-D 预训练也提升了 RGB-T 和 RGB-L 基准,表明超出 RGB-D 数据的更广泛模态交互收益。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。