[论文解读] DSPoint: Dual-scale Point Cloud Recognition with High-frequency Fusion

Renrui Zhang, Ziyao Zeng+4 more|arXiv (Cornell University)|Nov 19, 2021

3D Shape Modeling and Analysis参考文献 52被引用 16

一句话总结

DSPoint 提出了一种双尺度点云识别框架，通过反转传统设计，将全局注意力应用于体素化特征，同时对细粒度几何结构使用局部点卷积，并利用协同注意力融合模块整合高频空间细节。该方法在 ModelNet40、ShapeNet 和 S3DIS 上实现了最先进性能，同时提升了空间一致性和效率。

ABSTRACT

Point cloud processing is a challenging task due to its sparsity and irregularity. Prior works introduce delicate designs on either local feature aggregator or global geometric architecture, but few combine both advantages. We propose Dual-Scale Point Cloud Recognition with High-frequency Fusion (DSPoint) to extract local-global features by concurrently operating on voxels and points. We reverse the conventional design of applying convolution on voxels and attention to points. Specifically, we disentangle point features through channel dimension for dual-scale processing: one by point-wise convolution for fine-grained geometry parsing, the other by voxel-wise global attention for long-range structural exploration. We design a co-attention fusion module for feature alignment to blend local-global modalities, which conducts inter-scale cross-modality interaction by communicating high-frequency coordinates information. Experiments and ablations on widely-adopted ModelNet40, ShapeNet, and S3DIS demonstrate the state-of-the-art performance of our DSPoint.

研究动机与目标

• 为解决在不规则、稀疏点云中结合局部几何细节与全局结构关系的挑战。
• 克服先前方法的局限性，这些方法要么在体素上使用卷积、在点上使用注意力，要么简单地拼接特征，导致特征模糊化。
• 通过新颖的双模态处理流程，提升部分分割中的空间一致性和场景理解中的长程推理能力。
• 实现与现有模型的即插即用集成，仅需极少的架构改动，同时保持高效率。

提出的方法

• 双尺度处理：通过在原始点特征上应用点卷积动态卷积提取局部特征，同时通过体素化后应用 3D 全局注意力捕捉全局特征。
• 通道解耦：沿通道维将点特征拆分，分别处理局部与全局表征。
• 协同注意力融合模块：通过在体素分支与点分支之间传递高频坐标信息，实现跨尺度的跨模态交互。
• 体素到点的反投影：在体素上完成全局注意力后，将特征投影回点位置，实现特征对齐与融合。
• 即插即用设计：DSPoint 可通过用双分支模块替换或增强最终层，无缝集成到现有模型（如 DGCNN、PointNet++）中。
• 效率优化：该方法实现了高推理速度与低参数量，适用于自动驾驶等工业应用。

实验结果

研究问题

• RQ1 是否通过反转传统设计——即在体素上应用注意力、在点上应用卷积——能够提升点云识别中的特征学习？
• RQ2 如何在不模糊细粒度几何细节的前提下，有效融合局部与全局特征？
• RQ3 能否通过点与体素模态之间的协同注意力机制，保留并利用高频空间信息？
• RQ4 所提出的双尺度框架是否能提升部分分割中的空间一致性以及场景分割中的长程推理能力？
• RQ5 DSPoint 在仅需极少架构改动的情况下，能在多大程度上高效集成到现有模型中？

主要发现

• DSPoint 在 ModelNet40 上实现了最先进性能，报告准确率达到 94.8%，优于先前方法。
• 在 ShapeNet Part 数据集上，DSPoint 相较于 PAConv 提升了 mIoU，尽管绝对 mIoU 提升较小，但部分分割结果在空间一致性方面显著更优。
• 在 S3DIS 的室内场景分割中，DSPoint 通过长程特征融合，实现了高性能，并更准确识别孤立的结构部件。
• 该方法展现出优异的效率-精度权衡，降低延迟与模型大小的同时保持高准确率，适用于实时工业应用。
• 误差分析表明，随机不确定性将准确率上限限制在约 94–95%，提示进一步提升准确率受限于数据分布而非模型设计。
• 可视化分析显示，与基线方法相比，DSPoint 更好地保持了结构连贯性（如避免部件碎片化），尤其在具有细微特征的复杂形状（如水杯和长椅）中表现更优。