[论文解读] HyperDet3D: Learning a Scene-conditioned 3D Object Detector

Yu Zheng, Yueqi Duan+3 more|arXiv (Cornell University)|Apr 12, 2022

Advanced Neural Network Applications被引用 6

一句话总结

HyperDet3D 提出了一种基于超网络架构的场景条件3D目标检测器，通过融合与场景无关和与场景相关的知识，实现对检测器参数的动态调整。通过使用多头场景特定注意力（MSA）模块，根据输入场景上下文动态调节检测器参数，该方法在ScanNet和SUN RGB-D数据集上实现了最先进性能，尤其在bed和toilet等具有挑战性的类别上表现显著，且在分布偏移下展现出良好的泛化能力。

ABSTRACT

A bathtub in a library, a sink in an office, a bed in a laundry room -- the counter-intuition suggests that scene provides important prior knowledge for 3D object detection, which instructs to eliminate the ambiguous detection of similar objects. In this paper, we propose HyperDet3D to explore scene-conditioned prior knowledge for 3D object detection. Existing methods strive for better representation of local elements and their relations without scene-conditioned knowledge, which may cause ambiguity merely based on the understanding of individual points and object candidates. Instead, HyperDet3D simultaneously learns scene-agnostic embeddings and scene-specific knowledge through scene-conditioned hypernetworks. More specifically, our HyperDet3D not only explores the sharable abstracts from various 3D scenes, but also adapts the detector to the given scene at test time. We propose a discriminative Multi-head Scene-specific Attention (MSA) module to dynamically control the layer parameters of the detector conditioned on the fusion of scene-conditioned knowledge. Our HyperDet3D achieves state-of-the-art results on the 3D object detection benchmark of the ScanNet and SUN RGB-D datasets. Moreover, through cross-dataset evaluation, we show the acquired scene-conditioned prior knowledge still takes effect when facing 3D scenes with domain gap.

研究动机与目标

• 解决因不同场景中物体外观相似而导致3D目标检测中的歧义问题。
• 将场景级别的先验知识融入3D检测器，以提升检测精度和鲁棒性。
• 实现在推理阶段根据输入场景上下文动态调整检测器参数。
• 探索在存在域差距的零样本和跨数据集设置下，场景条件知识的有效性。

提出的方法

• HyperDet3D 采用基于超网络的结构，根据场景上下文生成检测器权重。
• 它学习两种层次的场景条件知识：跨场景共享的与场景无关的嵌入，以及针对单个输入定制的与场景相关的表征。
• 多头场景特定注意力（MSA）模块计算对场景嵌入的动态注意力，以调制检测器各层的参数。
• 通过晚期融合方式将与场景无关和与场景相关的特征融合，以引导解码器中的候选对象特征。
• 网络采用端到端训练方式，检测头通过基于投票的回归方法回归物体中心和偏移量。
• 超网络中使用单一层线性层，同时完成与场景无关和与场景相关的知识提取。

实验结果

研究问题

• RQ1 场景条件先验知识是否能减少在不同环境中外观相似物体的3D目标检测歧义？
• RQ2 将与场景无关和与场景相关的知识相结合，在标准基准上的检测精度提升效果如何？
• RQ3 所提出方法是否能在存在域差距的未见场景中泛化，例如在跨数据集评估中？
• RQ4 与场景相关的知识与基于注意力的调制相比，在处理域偏移时的相对贡献如何？

主要发现

• 在SUN RGB-D V1验证集上，HyperDet3D 的平均精度均值（mAP）达到47.3，优于此前最先进方法（包括GF3D和Ours的45.2）。
• 在ScanNet V2验证集上，HyperDet3D 的mAP达到58.9，优于GF3D（48.6），在bed（78.9%）和toilet（71.4%）类别上表现尤为突出。
• 在跨数据集评估中（在SUN RGB-D上预训练，在ScanNet上微调），HyperDet3D 保持了强劲性能，表明其对域偏移具有鲁棒性。
• 消融实验表明，移除MSA模块会使mAP下降3.4%，说明其贡献大于仅依赖与场景相关的知识。
• 该方法在对场景依赖性强的类别（如bed、bookshelf和toilet）上取得了显著提升。
• bathtub类别性能下降（mAP：59.1 vs. GF3D的64.0）归因于标注稀疏，表明数据稀缺是主要限制因素。