[论文解读] MKConv: Multidimensional Feature Representation for Point Cloud Analysis

Sungmin Woo, Dogyoon Lee+3 more|arXiv (Cornell University)|Jul 27, 2021

3D Surveying and Cultural Heritage被引用 6

一句话总结

MKConv 提出了一种新颖的点卷积算子，通过在核权重中学习空间相关性，将一维点特征转换为多维矩阵，从而实现在非体素化点云上的离散卷积。该方法捕捉了更丰富的局部几何结构，在点云分类、部件分割和场景分割任务中均达到最先进性能，S3DIS 数据集上 mIoU 最高达 67.7%，ModelNet40 数据集上准确率高达 93.7%。

ABSTRACT

Despite the remarkable success of deep learning, an optimal convolution operation on point clouds remains elusive owing to their irregular data structure. Existing methods mainly focus on designing an effective continuous kernel function that can handle an arbitrary point in continuous space. Various approaches exhibiting high performance have been proposed, but we observe that the standard pointwise feature is represented by 1D channels and can become more informative when its representation involves additional spatial feature dimensions. In this paper, we present Multidimensional Kernel Convolution (MKConv), a novel convolution operator that learns to transform the point feature representation from a vector to a multidimensional matrix. Unlike standard point convolution, MKConv proceeds via two steps. (i) It first activates the spatial dimensions of local feature representation by exploiting multidimensional kernel weights. These spatially expanded features can represent their embedded information through spatial correlation as well as channel correlation in feature space, carrying more detailed local structure information. (ii) Then, discrete convolutions are applied to the multidimensional features which can be regarded as a grid-structured matrix. In this way, we can utilize the discrete convolutions for point cloud data without voxelization that suffers from information loss. Furthermore, we propose a spatial attention module, Multidimensional Local Attention (MLA), to provide comprehensive structure awareness within the local point set by reweighting the spatial feature dimensions. We demonstrate that MKConv has excellent applicability to point cloud processing tasks including object classification, object part segmentation, and scene semantic segmentation with superior results.

研究动机与目标

• 为解决标准点卷积仅将特征表示为一维向量的局限性，通过引入空间维度来增强特征表示。
• 在避免体素化方法中信息损失的同时，实现对非规则点云的高效离散卷积。
• 通过学习的核权重建模特征维度之间的空间相关性，提升局部几何特征的学习能力。
• 通过一种新型多维局部注意力（MLA）模块，增强局部点邻域的结构感知能力。

提出的方法

• MKConv 通过连续核函数学习多维核权重，实现特征维度间的空间相关性建模。
• 通过学习的核权重激活空间维度，将一维点特征转换为二维或三维特征矩阵。
• 对生成的网格化多维特征应用离散卷积，避免体素化并保留几何细节。
• 多维局部注意力（MLA）模块重新加权空间特征维度，以增强局部结构感知能力。
• 采用归一化的核权重（L2 或标准化）以稳定训练并提升泛化能力。
• 网络架构将 MKConv 层与共享的多层感知机（MLP）结合，实现跨层的特征变换与聚合。

实验结果

研究问题

• RQ1 在核权重中学习空间相关性是否能提升点云分析中局部特征表示的性能？
• RQ2 将一维点特征转换为多维矩阵是否能增强对局部几何结构的建模能力？
• RQ3 通过核学习构建网格化特征矩阵后，能否有效在非体素化点云上应用离散卷积？
• RQ4 与标准注意力机制相比，所提出的多维局部注意力（MLA）模块在提升局部结构感知能力方面有何优势？
• RQ5 在不同点云任务中，MKConv 的最优核大小、邻居数量和卷积层数配置为何？

主要发现

• 在 ModelNet40 分类任务中，MKConv 达到 93.7% 的准确率，优于先前方法，最佳配置（标准化 + MLA）准确率同样为 93.7%。
• 在 ShapeNetPart 部分分割任务中，MKConv 达到 86.3% 的 mIoU，最佳模型（C）使用每层 32 个邻居时达到 86.5% mIoU。
• 在 S3DIS 语义场景分割任务中，MKConv 达到 89.6% 的总体准确率（OA）和 67.7% 的 mIoU，最佳配置采用标准化与 MLA。
• 将每层邻居数从 64 减少到 20，推理延迟从 6.76ms 降低至 3.96ms，准确率仅下降 0.2%。
• 每单位 MKConv 使用三层或四层离散卷积的性能优于两层，四层相比三层有微小提升。
• 特征可视化结果表明，深层网络学习到更高阶的语义结构（如翅膀、腿部），而浅层网络主要检测边缘和角点。