[论文解读] CAE-Transformer: Transformer-based Model to Predict Invasiveness of Lung Adenocarcinoma Subsolid Nodules from Non-thin Section 3D CT Scans

Shahin Heidarian, Parnian Afshar+3 more|arXiv (Cornell University)|Oct 17, 2021

Lung Cancer Diagnosis and Treatment被引用 4

一句话总结

本论文提出CAE-Transformer，一种基于Transformer的模型，利用非薄层三维CT扫描预测肺腺癌亚实性结节的侵袭性。该模型采用卷积自编码器从2D CT切片中提取特征，再将这些特征输入经修改的Transformer以捕捉跨切片的全局依赖关系，在114例患者的数据集上实现了87.73%的准确率、88.67%的敏感度、86.33%的特异度以及0.913的AUC，且仅需极少放射科医生的监督。

ABSTRACT

Lung cancer is the leading cause of mortality from cancer worldwide and has various histologic types, among which Lung Adenocarcinoma (LUAC) has recently been the most prevalent one. The current approach to determine the invasiveness of LUACs is surgical resection, which is not a viable solution to fight lung cancer in a timely fashion. An alternative approach is to analyze chest Computed Tomography (CT) scans. The radiologists' analysis based on CT images, however, is subjective and might result in a low accuracy. In this paper, a transformer-based framework, referred to as the "CAE-Transformer", is developed to efficiently classify LUACs using whole CT images instead of finely annotated nodules. The proposed CAE-Transformer can achieve high accuracy over a small dataset and requires minor supervision from radiologists. The CAE Transformer utilizes an encoder to automatically extract informative features from CT slices, which are then fed to a modified transformer to capture global inter-slice relations and provide classification labels. Experimental results on our in-house dataset of 114 pathologically proven Sub-Solid Nodules (SSNs) demonstrate the superiority of the CAE-Transformer over its counterparts, achieving an accuracy of 87.73%, sensitivity of 88.67%, specificity of 86.33%, and AUC of 0.913, using a 10-fold cross-validation.

研究动机与目标

• 开发一种自动化、低监督的框架，用于从常规非薄层3D CT扫描中预测亚实性肺腺癌结节的侵袭性。
• 克服放射科医生主观判断以及依赖人工标注结节的放射组学模型的局限性。
• 利用深度学习，特别是Transformer，对体素CT数据中的跨切片关系进行建模，而无需依赖薄层或高分辨率扫描。
• 创建一种临床可用的工具，通过实现术前对非侵袭性、微小侵袭性和侵袭性亚型的及时、准确分类，减少不必要的手术。
• 证明自监督特征提取方法（CAE）与Transformer编码器结合，可在小规模真实世界数据集上优于传统模型。

提出的方法

• 在2D CT切片上以无监督方式预训练卷积自编码器（CAE），以提取分层且信息丰富的特征。
• 将结节所有切片生成的CAE特征堆叠为形状为(25, 256)的序列，将完整3D结节表示为2D特征图的序列。
• 使用修改后的Transformer编码器处理该序列，通过多头自注意力机制建模长程依赖关系与切片间关系。
• 最终分类头利用Transformer中学习到的[CLS]标记表示，预测侵袭性类别（非侵袭性/微小侵袭性 vs. 侵袭性）。
• 使用较低的学习率（1e-6）在完整数据集上进行微调，并应用标签平滑（α=0.05）以提升泛化能力。
• 通过10折交叉验证评估性能，并通过消融研究对比CAE-Transformer与采用全局平均池化（GAP）、全局最大池化（GMP）、LSTM、3D-CNN及ResNet变体的模型。

实验结果

研究问题

• RQ1 基于Transformer的模型能否在不依赖高分辨率或薄层成像的前提下，有效捕捉非薄层CT扫描中3D肺结节的跨切片关系？
• RQ2 将卷积自编码器的无监督特征学习与Transformer编码器结合，是否能提升在小规模真实世界医学数据集上的分类性能？
• RQ3 CAE-Transformer在预测亚实性结节侵袭性方面，相较于传统放射组学和深度学习基线模型（如3D-CNN、LSTM、ResNet）表现如何？
• RQ4 在分类前聚合特征时，采用全局池化策略（GAP与GMP）的选择在多大程度上影响模型性能？
• RQ5 自监督预训练方法是否能减少对大量放射科医生标注的依赖，同时保持高诊断准确率？

主要发现

• CAE-Transformer在114例患者的测试集上，通过10折交叉验证，实现了87.73%的准确率、88.67%的敏感度、86.33%的特异度以及0.913的AUC。
• 该模型显著优于参考文献[7]中原始的放射组学模型，后者在相同数据集上使用人工标注结节仅达到81.0%的准确率。
• CAE-Transformer在相同数据集上超越了非Transformer基线模型，包括GMP-FC、GAP-FC、CAE-LSTM、3D-CNN及基于ResNet的模型。
• 消融研究显示，将全局池化（GMP/GAP）替换为Transformer编码器可带来显著的性能提升，证实了建模跨切片长程依赖关系的重要性。
• 该模型在小样本数据集上表现出强鲁棒性，更深或更大的网络（如更深的ResNets）因过拟合而表现更差，凸显了CAE预训练与注意力机制的优势。
• 使用标签平滑（α=0.05）提升了泛化能力，表明其在小样本医学学习场景中的价值。