[论文解读] Leveraging RGB-D Data with Cross-Modal Context Mining for Glass Surface Detection

Jiaying Lin, Yuen Hei Yeung+2 more|arXiv (Cornell University)|Jun 22, 2022

Remote Sensing and LiDAR Applications被引用 8

一句话总结

本文提出了一种新颖的RGB-D玻璃表面检测框架，通过利用跨模态上下文挖掘（CCM）和深度缺失感知注意力（DAA），借助深度图伪影（如玻璃透射导致的缺失区域）提升检测性能。在新构建的RGB-D GSD数据集上的实验表明，该方法达到最先进性能，mIoU为0.742，Fβ得分为0.853，优于现有的仅使用RGB的方法。

ABSTRACT

Glass surfaces are becoming increasingly ubiquitous as modern buildings tend to use a lot of glass panels. This, however, poses substantial challenges to the operations of autonomous systems such as robots, self-driving cars, and drones, as these glass panels can become transparent obstacles to navigation. Existing works attempt to exploit various cues, including glass boundary context or reflections, as priors. However, they are all based on input RGB images. We observe that the transmission of 3D depth sensor light through glass surfaces often produces blank regions in the depth maps, which can offer additional insights to complement the RGB image features for glass surface detection. In this work, we first propose a large-scale RGB-D glass surface detection dataset, extit{RGB-D GSD}, for rigorous experiments and future research. It contains 3,009 images, paired with precise annotations, offering a wide range of real-world RGB-D glass surface categories. We then propose a novel glass surface detection framework combining RGB and depth information, with two novel modules: a cross-modal context mining (CCM) module to adaptively learn individual and mutual context features from RGB and depth information, and a depth-missing aware attention (DAA) module to explicitly exploit spatial locations where missing depths occur to help detect the presence of glass surfaces. Experimental results show that our proposed model outperforms state-of-the-art methods.

研究动机与目标

• 为解决仅依赖边界线索、在边界模糊或存在类玻璃区域时失效的RGB-only玻璃表面检测方法的局限性。
• 利用玻璃表面透光导致的深度图伪影（尤其是缺失深度值）作为可靠的检测线索。
• 设计一种多模态学习框架，通过自适应上下文挖掘与深度缺失感知机制，有效融合RGB与深度信息。
• 构建一个大规模真实世界RGB-D数据集，用于玻璃表面检测，以支持未来研究。

提出的方法

• 提出一种跨模态上下文挖掘（CCM）模块，通过隐式与显式多模态上下文子模块，自适应地从RGB与深度输入中学习个体及相互关联的上下文特征。
• 引入一种深度缺失感知注意力（DAA）模块，显式建模缺失深度区域与玻璃表面位置之间的空间相关性，以增强特征表示。
• 设计一种双分支编码器-解码器网络架构，分别处理RGB与深度输入，随后通过CCM模块融合特征。
• 在DAA模块中使用可学习注意力机制，根据深度缺失图对RGB、深度及跨模态表示的特征进行加权。
• 采用二元交叉熵与平均绝对误差（MAE）损失联合端到端训练模型，实现分割监督。
• 构建了包含3,009对真实世界RGB-D图像的RGB-D GSD数据集，每幅图像均配有精确的像素级玻璃表面标注。

实验结果

研究问题

• RQ1 深度图伪影（如缺失区域）是否能提供超越RGB边界学习的可靠玻璃表面检测线索？
• RQ2 如何有效建模RGB与深度特征之间的跨模态上下文，以提升复杂场景下的检测鲁棒性？
• RQ3 与标准注意力机制相比，显式关注深度缺失区域在多大程度上能提升检测性能？
• RQ4 大规模真实世界RGB-D数据集是否能显著提升玻璃表面检测模型的性能与泛化能力？

主要发现

• 所提框架在RGB-D GSD数据集上达到0.742的mIoU与0.853的Fβ得分，优于最先进的仅使用RGB的方法（如EBLNet与Lin et al. [31]）。
• 消融实验表明，同时包含隐式与显式多模态上下文挖掘子模块的CCM模块性能最佳，相比单模态变体，mIoU提升0.026。
• DAA模块显著增强了特征表示，完整模型（使用深度缺失图）达到最低BER（9.33）与MAE（0.043），优于无深度缺失输入的变体。
• 当DAA模块应用于跨模态特征（CM）时效果最佳，达到0.846的Fβ与9.30的BER，表明联合模态表示是实现鲁棒检测的关键。
• 在RGB-only方法因边界模糊或类玻璃外观而失效的复杂场景中，该模型仍能成功检测玻璃表面，定性对比结果已验证此优势。
• 失败案例多出现在RGB与深度输入均缺乏上下文线索时（如黑板或白板），表明模型在依赖上下文的泛化能力方面仍存在局限。