[论文解读] 3D Medical Point Transformer: Introducing Convolution to Attention Networks for Medical Point Cloud Analysis

Jianhui Yu, Chaoyi Zhang+6 more|arXiv (Cornell University)|Dec 9, 2021

Radiomics and Machine Learning in Medical ImagingMedicine被引用 22

一句话总结

本文提出3DMedPT，一种基于Transformer的新型模型，用于3D医学点云分析，通过整合卷积特征总结与多图推理，增强局部与全局特征学习。该模型在IntrA基准的分类与分割任务中达到最先进性能，并在ModelNet40和ShapeNetPart等通用3D点云数据集上展现出优异的泛化能力。

ABSTRACT

General point clouds have been increasingly investigated for different tasks, and recently Transformer-based networks are proposed for point cloud analysis. However, there are barely related works for medical point clouds, which are important for disease detection and treatment. In this work, we propose an attention-based model specifically for medical point clouds, namely 3D medical point Transformer (3DMedPT), to examine the complex biological structures. By augmenting contextual information and summarizing local responses at query, our attention module can capture both local context and global content feature interactions. However, the insufficient training samples of medical data may lead to poor feature learning, so we apply position embeddings to learn accurate local geometry and Multi-Graph Reasoning (MGR) to examine global knowledge propagation over channel graphs to enrich feature representations. Experiments conducted on IntrA dataset proves the superiority of 3DMedPT, where we achieve the best classification and segmentation results. Furthermore, the promising generalization ability of our method is validated on general 3D point cloud benchmarks: ModelNet40 and ShapeNetPart. Code is released.

研究动机与目标

• 解决复杂、不规则且拓扑多样的3D医学点云中病灶结构不完整带来的分析挑战。
• 克服现有基于MLP的模型（如PointNet）在捕捉医学数据中长距离依赖关系与表达性形状特征方面的局限性。
• 通过引入位置嵌入与多图推理，在医学数据集典型的低样本学习场景下提升特征学习能力。
• 设计一种在医学点云上表现优异且能有效泛化至通用3D点云基准的模型。

提出的方法

• 在自注意力机制中集成卷积层，以总结局部上下文并生成整体几何特征。
• 在注意力计算前，通过局部邻域上下文增强查询特征，以提升上下文感知能力。
• 在查询、键和值投影中应用可学习的位置嵌入，以精确建模不规则医学点云中的局部几何结构。
• 提出多图推理（MGR），通过可学习的邻接矩阵学习多个通道图，实现在通道间传播全局特征。
• 在注意力机制中使用softmax归一化以实现最优特征总结，经实证验证有效。
• 在医学与通用3D数据集上端到端训练模型，结合数据增强与单位立方体归一化。

实验结果

研究问题

• RQ1 基于Transformer的架构能否有效建模3D医学点云中复杂多样的解剖拓扑结构？
• RQ2 在少样本医学点云学习中，如何联合优化局部几何上下文与全局特征交互？
• RQ3 位置嵌入与多图推理在多大程度上可提升医学点云分析中的特征表示能力？
• RQ4 所提出的模型在非医学3D点云基准（如ModelNet40与ShapeNetPart）上是否具备良好的泛化能力？

主要发现

• 3DMedPT在IntrA分类基准上取得0.922的最高F1分数，优于所有基线模型。
• 在IntrA分割任务中，模型输出结果高度精确，仅在复杂或小结构区域存在少量错误。
• 在RetinalOCT（转换为2D点云）上，模型达到90.9%的准确率，尽管存在数据转换限制，仍优于PointNet与DGCNN。
• 在AdrenalMNIST3D上，3DMedPT达到79.1%的准确率，在基于点的模型中排名第二，接近AutoKeras性能。
• 模型在通用3D点云数据集上泛化能力出色，在ModelNet40与ShapeNetPart上均取得优异结果。
• 大量消融实验表明，softmax归一化带来最佳注意力性能，且Ck=32与h=8组合提供最优注意力头配置。