[论文解读] DATR: Domain-adaptive transformer for multi-domain landmark detection

Heqin Zhu, Qingsong Yao+1 more|arXiv (Cornell University)|Mar 12, 2022

Medical Imaging and Analysis被引用 5

一句话总结

该论文提出DATR，这是首个用于头部、手部和胸部X光片中通用多域解剖标志点检测的领域自适应Transformer模型。通过将领域自适应自注意力机制与轻量级引导网络结合，并采用Swin Transformer编码器，DATR在混合数据集上将平均配准误差降低至1.47px，显著优于先前的基于CNN的模型，达到最先进性能。

ABSTRACT

Accurate anatomical landmark detection plays an increasingly vital role in medical image analysis. Although existing methods achieve satisfying performance, they are mostly based on CNN and specialized for a single domain say associated with a particular anatomical region. In this work, we propose a universal model for multi-domain landmark detection by taking advantage of transformer for modeling long dependencies and develop a domain-adaptive transformer model, named as DATR, which is trained on multiple mixed datasets from different anatomies and capable of detecting landmarks of any image from those anatomies. The proposed DATR exhibits three primary features: (i) It is the first universal model which introduces transformer as an encoder for multi-anatomy landmark detection; (ii) We design a domain-adaptive transformer for anatomy-aware landmark detection, which can be effectively extended to any other transformer network; (iii) Following previous studies, we employ a light-weighted guidance network, which encourages the transformer network to detect more accurate landmarks. We carry out experiments on three widely used X-ray datasets for landmark detection, which have 1,588 images and 62 landmarks in total, including three different anatomies (head, hand, and chest). Experimental results demonstrate that our proposed DATR achieves state-of-the-art performances by most metrics and behaves much better than any previous convolution-based models. The code will be released publicly.

研究动机与目标

• 开发一种通用模型，能够在无需针对特定领域重新训练的情况下，检测多个解剖领域（如头部、手部、胸部）中的解剖标志点。
• 通过利用Transformer进行长距离上下文建模，克服单领域基于CNN模型在多域标志点检测中的局限性。
• 设计一种领域自适应Transformer模块，实现在多样化解剖区域间的共享特征学习与领域特定特征学习。
• 通过轻量级引导网络提供粗粒度但明确的标志点监督，提升检测精度。
• 验证多域预训练和零样本迁移至未见领域（如骨盆）的有效性。

提出的方法

• 模型采用基于Swin Transformer块构建的Transformer编码器，通过领域自适应自注意力（MSA_Q^d）增强，以建模域间关系。
• 领域自适应Transformer模块（DAT）整合共享领域与特定领域参数，实现共享知识提取与领域特定适应。
• 解码器采用领域自适应卷积（DAC），以通道特定和逐点操作替代标准卷积，支持多领域处理。
• 引导网络通过五个空洞卷积和一个1×1卷积生成粗粒度热力图，引导主Transformer网络实现更精确的标志点预测。
• 模型在头部、手部和胸部X光片的混合数据集上端到端训练，新领域推理时对领域特定参数进行微调。
• 通过冻结共享领域参数并添加新的领域特定层，评估迁移学习在新型骨盆数据集上的表现。

实验结果

研究问题

• RQ1 与先前基于CNN的模型相比，基于Transformer的架构是否能在多个解剖领域中实现更优的标志点检测性能？
• RQ2 在Transformer编码器中引入领域自适应注意力是否能提升多域标志点检测的特征学习能力？
• RQ3 在混合数据集上训练的单一通用模型是否能有效泛化至未见解剖领域（如骨盆）？
• RQ4 与单域训练相比，多域预训练对各单一领域性能有何影响？
• RQ5 在缺乏强监督的情况下，引导网络在多大程度上提升了检测精度？

主要发现

• 在头部+手部+胸部数据集的联合测试中，DATR的平均配准误差（MRE）为1.47px，显著优于基线Transformer的2.62px。
• 在头部数据集上，DATR在SDF<3px指标上达到78.07%，优于单域基线模型，展现出强大的泛化能力。
• 在新型骨盆数据集上微调后，领域自适应Transformer将MRE从基线的5.64px降低至4.12px，表明其具备有效的领域适应能力。
• 多域训练在所有领域中均持续提升性能，三域模型在所有测试集上均取得最优MRE与SDR得分。
• 消融实验表明，领域自适应自注意力和对角矩阵适配（D^d）均对性能有显著贡献，完整模型优于所有变体。
• 可视化结果显示，预测的标志点（红色）与标注的标志点（绿色）高度对齐，尤其在手部和胸部等复杂结构上表现优异。