[论文解读] Equivariant Maps for Hierarchical Structures

Renhao Wang, Marjan Albooyeh+1 more|arXiv (Cornell University)|Jun 5, 2020

3D Shape Modeling and Analysis参考文献 52被引用 6

一句话总结

本文提出了一种通用框架，通过利用对称群的wreath积，用于在分层数据结构上设计等变神经网络。结果表明，通过将构成组件的等变线性层与池化和广播操作相结合，可以构建分层结构的等变映射，从而在包括Semantic3D、S3DIS和VKITTI在内的大规模3D点云语义分割基准上实现最先进性能。

ABSTRACT

While using invariant and equivariant maps, it is possible to apply deep learning to a range of primitive data structures, a formalism for dealing with hierarchy is lacking. This is a significant issue because many practical structures are hierarchies of simple building blocks; some examples include sequences of sets, graphs of graphs, or multiresolution images. Observing that the symmetry of a hierarchical structure is the "wreath product" of symmetries of the building blocks, we express the equivariant map for the hierarchy using an intuitive combination of the equivariant linear layers of the building blocks. More generally, we show that any equivariant map for the hierarchy has this form. To demonstrate the effectiveness of this approach to model design, we consider its application in the semantic segmentation of point-cloud data. By voxelizing the point cloud, we impose a hierarchy of translation and permutation symmetries on the data and report state-of-the-art on Semantic3D, S3DIS, and vKITTI, that include some of the largest real-world point-cloud benchmarks.

研究动机与目标

• 正式化利用wreath积对称性在深度学习中建模分层数据结构的方法。
• 为对称性的分层组合提供等变线性映射的一般性构造。
• 在真实世界的3D点云语义分割任务中展示该方法的有效性。
• 证明分层等变性可提升大规模基准上的样本效率和性能。

提出的方法

• 本文将分层结构建模为更简单对称性的嵌套组合，其中整体对称群为各组件对称群的wreath积。
• 推导出在群wreath积下等变的线性映射的闭式表征，表明其可分解为层次中每一级的贡献。
• 该构造使用每个组件对称群的等变线性层，结合对内部节点的池化和对叶节点的广播。
• 通过将归纳偏置扩展至嵌套对称性，该方法将标准卷积网络和集合等变网络推广至分层结构。
• 通过将输入体素化，在多尺度上施加平移和置换对称性，将该方法应用于3D点云。
• 使用这些等变层构建深层网络架构，包含ReLU激活函数和残差连接，可选地加入注意力机制。

实验结果

研究问题

• RQ1 如何系统性地构建具有嵌套对称性的分层数据结构的等变映射？
• RQ2 在对称群的wreath积下，等变线性映射的数学结构是什么？
• RQ3 wreath积对称性与直积在建模分层数据时有何不同？
• RQ4 分层等变性是否能提升大规模3D点云分割任务的性能？
• RQ5 体素化分辨率对分层点云学习中模型性能有何影响？

主要发现

• 所提方法在Semantic3D基准上达到最先进性能，体素密度为每维10个体素时，平均交并比（mIoU）达77.4%。
• 在S3DIS数据集上，该模型在所有对比方法中实现了最高的总体准确率（OA）和mIoU，且未使用大量数据增强。
• 在VKITTI基准上，该模型在较小的、合成的点云数据集上也表现出色，证明了其在不同领域的泛化能力。
• 该模型在Semantic3D上的性能在每维10个体素时达到峰值，mIoU为77.4%，在更高分辨率下因过拟合而下降。
• 采用残差连接和ReLU激活函数的架构优于基线模型，加入自注意力机制可进一步提升性能。
• 理论分析证实，任何分层结构的等变映射必须分解为每一级的等变映射，再通过池化和广播组合而成。