[论文解读] MLCVNet: Multi-Level Context VoteNet for 3D Object Detection

Qian Xie, Yu‐Kun Lai+5 more|arXiv (Cornell University)|Apr 12, 2020

Advanced Neural Network Applications参考文献 50被引用 28

一句话总结

本文提出 MLCVNet，一种新颖的 3D 目标检测框架，通过自注意力机制与多尺度特征融合，将多层级上下文信息整合到 VoteNet 中，以增强其性能。该方法引入了三个上下文模块——点 patch 间上下文（PPC）、物体间上下文（OOC）和全局场景上下文（GSC），用于建模点 patch、物体和场景层级的关系，在 SUN RGB-D 和 ScanNet 数据集上实现了最先进性能，相较于 VoteNet 实现了 5.9% 的 mAP@0.25 绝对提升。

ABSTRACT

In this paper, we address the 3D object detection task by capturing multi-level contextual information with the self-attention mechanism and multi-scale feature fusion. Most existing 3D object detection methods recognize objects individually, without giving any consideration on contextual information between these objects. Comparatively, we propose Multi-Level Context VoteNet (MLCVNet) to recognize 3D objects correlatively, building on the state-of-the-art VoteNet. We introduce three context modules into the voting and classifying stages of VoteNet to encode contextual information at different levels. Specifically, a Patch-to-Patch Context (PPC) module is employed to capture contextual information between the point patches, before voting for their corresponding object centroid points. Subsequently, an Object-to-Object Context (OOC) module is incorporated before the proposal and classification stage, to capture the contextual information between object candidates. Finally, a Global Scene Context (GSC) module is designed to learn the global scene context. We demonstrate these by capturing contextual information at patch, object and scene levels. Our method is an effective way to promote detection accuracy, achieving new state-of-the-art detection performance on challenging 3D object detection datasets, i.e., SUN RGBD and ScanNet. We also release our code at https://github.com/NUAAXQ/MLCVNet.

研究动机与目标

• 为解决现有 3D 目标检测器将点 patch 和物体孤立处理、忽略上下文关系的局限性。
• 提升在点云数据不完整或模糊的嘈杂、遮挡室内场景中的检测精度。
• 将点 patch、物体和场景三个层级的上下文信息整合到 3D 检测流程中。
• 证明多层级上下文建模可增强检测的鲁棒性与精度，尤其对平面状或遮挡物体更为有效。
• 在 SUN RGB-D 和 ScanNet 等基准数据集上建立新的最先进性能。

提出的方法

• 提出一种点 patch 间上下文（PPC）模块，利用自注意力机制在投票生成物体中心前聚合相邻点 patch 之间的上下文特征。
• 采用一种物体间上下文（OOC）模块，通过自注意力机制建模物体候选提议之间的关系，以优化检测置信度与边界框估计。
• 设计一种全局场景上下文（GSC）模块，通过全局特征聚合与自注意力机制捕捉长距离依赖关系与场景级语义信息。
• 在不同阶段之间融合多尺度特征，以增强各层级的特征表示与上下文建模能力。
• 将全部三个上下文模块集成到 VoteNet 架构中，在保持其端到端学习范式的同时，通过引入上下文线索丰富特征学习。
• 在整个模块中使用自注意力机制，根据特征相似性动态加权相关上下文信息。

实验结果

研究问题

• RQ1 建模多层级上下文信息（点 patch 层级、物体层级与场景层级）是否能提升点云中 3D 目标检测的精度？
• RQ2 在存在遮挡与噪声的挑战性室内数据集上，采用基于自注意力的上下文建模是否能提升检测性能？
• RQ3 点 patch 层级、物体层级与场景层级的上下文在单独与联合使用时，对检测性能提升的贡献程度如何？
• RQ4 上下文建模是否能减少误检并提升在模糊或杂乱场景中的泛化能力？
• RQ5 全局场景上下文的集成是否有助于防止错误检测，例如将床误检为位于厨房？

主要发现

• MLCVNet 在 ScanNet 验证集上实现了 64.5% 的 mAP@0.25，相较于之前最先进方法 VoteNet 提升了 5.9% 的绝对值。
• 在同一数据集上，mAP@0.50 达到 78.1%，相较 VoteNet 提升 7.9%，表明定位精度更高。
• 仅使用 PPC 模块即可使 mAP@0.25 提升 0.8 个百分点，而 OOC 模块额外贡献 2.6 个百分点，表明各组件具有累积增益。
• 在平面状物体（如门、窗户、画框、淋浴帘）上观察到最大性能提升，部分情况提升超过 8 个百分点。
• 定性结果表明，与 VoteNet 相比，MLCVNet 生成的检测框更少重叠或误分类，且在遮挡场景中泛化能力更强。
• 消融实验验证了三者上下文模块联合使用时性能最高，证实了多层级上下文建模的互补性。