[论文解读] Distanced LSTM: Time-Distanced Gates in Long Short-Term Memory Models for Lung Cancer Detection

Riqiang Gao, Yuankai Huo+10 more|arXiv (Cornell University)|Sep 11, 2019

Lung Cancer Diagnosis and Treatment参考文献 15被引用 7

一句话总结

本文提出了一种新型长短期记忆网络架构——时距LSTM（DLSTM），通过引入时间间隔门和时间强调机制，对不规则时间间隔的纵向CT扫描进行建模，以实现肺癌检测。该方法在规则与不规则时间数据上均表现更优，在临床获取的不规则扫描数据上AUC达到0.8905，显著优于标准LSTM（0.8380）和CNN特征方法（0.8350）。

ABSTRACT

The field of lung nodule detection and cancer prediction has been rapidly developing with the support of large public data archives. Previous studies have largely focused on cross-sectional (single) CT data. Herein, we consider longitudinal data. The Long Short-Term Memory (LSTM) model addresses learning with regularly spaced time points (i.e., equal temporal intervals). However, clinical imaging follows patient needs with often heterogeneous, irregular acquisitions. To model both regular and irregular longitudinal samples, we generalize the LSTM model with the Distanced LSTM (DLSTM) for temporally varied acquisitions. The DLSTM includes a Temporal Emphasis Model (TEM) that enables learning across regularly and irregularly sampled intervals. Briefly, (1) the time intervals between longitudinal scans are modeled explicitly, (2) temporally adjustable forget and input gates are introduced for irregular temporal sampling; and (3) the latest longitudinal scan has an additional emphasis term. We evaluate the DLSTM framework in three datasets including simulated data, 1794 National Lung Screening Trial (NLST) scans, and 1420 clinically acquired data with heterogeneous and irregular temporal accession. The experiments on the first two datasets demonstrate that our method achieves competitive performance on both simulated and regularly sampled datasets (e.g. improve LSTM from 0.6785 to 0.7085 on F1 score in NLST). In external validation of clinically and irregularly acquired data, the benchmarks achieved 0.8350 (CNN feature) and 0.8380 (LSTM) on the area under the ROC curve (AUC) score, while the proposed DLSTM achieves 0.8905.

研究动机与目标

• 解决在肺癌检测中建模不规则时间间隔纵向CT扫描的挑战，因为传统模型假设时间间隔是规则的。
• 克服标准LSTM在处理真实放射科中常见的异构临床扫描时间表方面的局限性。
• 开发一种深度学习框架，显式建模扫描之间的时间间隔，以改善时间表示学习。
• 在模拟的规则数据和真实世界临床获取的不规则数据上提升预测性能。
• 在多个数据集（包括国家肺癌筛查试验，NLST）上验证该方法，以确保其鲁棒性和泛化能力。

提出的方法

• 提出一种时间强调模型（TEM），通过可学习的时间感知门机制，显式建模纵向CT扫描之间的时间间隔。
• 通过将标准LSTM单元中的固定遗忘门和输入门替换为依赖于扫描间隔时间的时变可调门，对标准LSTM单元进行修改。
• 引入时间间隔遗忘门，根据上一次扫描以来的时间长度调节细胞状态的更新，从而实现对长期依赖关系的更好建模。
• 为最近一次扫描引入额外的强调项，以在序列决策中优先考虑最新信息。
• 使用基于3D CNN特征提取的序列扫描嵌入，通过交叉熵损失端到端训练DLSTM。
• 采用混合架构：3D CNN从每张CT扫描中提取空间特征，DLSTM则利用时间感知门处理生成的序列。

实验结果

研究问题

• RQ1 经过修改的LSTM架构是否能有效建模不规则时间间隔的纵向CT扫描以实现肺癌预测？
• RQ2 与标准LSTM相比，时间间隔门的引入在规则和不规则时间数据上的性能提升程度如何？
• RQ3 时间强调机制在序列中最近一次扫描的预测精度提升方面有多大作用？
• RQ4 DLSTM框架是否能在包括模拟数据、NLST数据和临床获取数据在内的多样化数据分布上实现泛化？
• RQ5 在真实世界不规则扫描数据上，DLSTM相较于标准LSTM和基于CNN的基线方法的性能增益如何？

主要发现

• 在NLST数据集（规则时间采样）上，DLSTM将F1分数从标准LSTM的0.6785提升至0.7085。
• 在外部验证中，针对1,420例临床获取的不规则时间间隔扫描，DLSTM的AUC达到0.8905，显著优于次优方法（LSTM，AUC 0.8380）。
• DLSTM在模拟数据和规则数据上也保持了具有竞争力的性能，表明其在不同数据类型上的鲁棒性。
• 时间强调模型显著提升了模型对近期扫描的敏感性，尤其在动态疾病进展场景中表现突出。
• 时间间隔门机制能够有效捕捉即使在扫描间隔稀疏或不均匀情况下的长程时间依赖关系。
• 所提出方法在真实世界不规则数据上的表现优于基于CNN的特征提取（AUC 0.8350）和标准LSTM（AUC 0.8380），证实了其临床相关性。