[论文解读] Multi-Phase Cross-modal Learning for Noninvasive Gene Mutation Prediction in Hepatocellular Carcinoma

Jiapan Gu, Ziyuan Zhao+11 more|arXiv (Cornell University)|May 8, 2020

Radiomics and Machine Learning in Medical Imaging参考文献 16被引用 15

一句话总结

本文提出了一种多阶段跨模态深度学习框架，通过融合多阶段3D CT扫描与放射科医生标注的生物标志物，实现对肝细胞癌（HCC）非侵袭性基因突变的预测。该方法采用多流3D ResNet-18架构，结合特征聚合与辅助生物标志物嵌入，实现了在APOB、COL11A1和ATRX基因上的平均76.7%准确率，性能优于单阶段基线模型，凸显了多模态融合在放射基因组学中的价值。

ABSTRACT

Hepatocellular carcinoma (HCC) is the most common type of primary liver cancer and the fourth most common cause of cancer-related death worldwide. Understanding the underlying gene mutations in HCC provides great prognostic value for treatment planning and targeted therapy. Radiogenomics has revealed an association between non-invasive imaging features and molecular genomics. However, imaging feature identification is laborious and error-prone. In this paper, we propose an end-to-end deep learning framework for mutation prediction in APOB, COL11A1 and ATRX genes using multiphasic CT scans. Considering intra-tumour heterogeneity (ITH) in HCC, multi-region sampling technology is implemented to generate the dataset for experiments. Experimental results demonstrate the effectiveness of the proposed model.

研究动机与目标

• 通过多区域采样获取代表性肿瘤区域数据，以应对HCC中肿瘤内异质性（ITH）的挑战。
• 通过整合多阶段CT影像与放射科医生标注的生物标志物，提升HCC中非侵袭性基因突变预测的性能。
• 开发一种端到端的深度学习框架，融合多阶段跨模态特征，以增强预测性能。
• 利用真实世界多中心HCC数据集，验证模型在诊断与预测肿瘤学应用中的临床相关性。

提出的方法

• 一个多流3D ResNet-18网络独立处理四个CT阶段（NC、ART、PV、DL），以提取空间与时间特征。
• 将所有四个阶段的特征进行拼接，并通过一个影子CNN模块实现跨阶段特征聚合与优化。
• 放射科医生标注的生物标志物（如肿瘤内血管的存在）被编码为二值向量，并通过一个128个单元的全连接层进行嵌入。
• 在最终分类前，将嵌入后的生物标志物特征与聚合后的图像特征拼接，并使用二元交叉熵损失进行训练。
• 利用多区域采样获得的区域级标签进行模型训练，以减轻因ITH导致的误标问题。
• 采用留一法交叉验证评估模型在患者间的稳定性与泛化能力。

实验结果

研究问题

• RQ1 与单阶段模型相比，多阶段跨模态深度学习框架是否能提升HCC中基因突变预测的准确率？
• RQ2 将放射科医生标注的生物标志物与多阶段CT扫描的深度特征相结合，对突变预测的效能如何？
• RQ3 多区域采样在多大程度上减轻了肿瘤内异质性对模型训练与性能的影响？
• RQ4 影像生物标志物与特定HCC基因突变之间存在何种相关性？这些相关性能否为未来预测建模提供依据？

主要发现

• 所提出的模型在APOB、COL11A1和ATRX基因突变预测中实现了76.7%的平均准确率，优于所有单阶段基线模型。
• 不包含生物标志物的模型也达到了77.3%的准确率，表明仅通过多阶段特征融合即可显著提升性能。
• 引入生物标志物后，COL11A1的预测准确率从67.7%提升至71.7%，ATRX的准确率从73.4%提升至76.5%，证明了其预测价值。
• 相关性图谱揭示了生物标志物与基因突变之间存在显著的成对相关性，部分突变呈现聚集现象，暗示存在共享的生物学模式。
• 相关性图谱的层次聚类分析表明，某些基因突变存在共调控现象，支持未来采用图神经网络进行建模。
• 留一法交叉验证结果证实了模型的稳定性，各患者特异性评估中性能保持一致。