[论文解读] Artificial Intelligence-Based Detection, Classification and Prediction/Prognosis in PET Imaging: Towards Radiophenomics

Fereshteh Yousefirizi, Pierre Decasez+4 more|arXiv (Cornell University)|Oct 20, 2021

Radiomics and Machine Learning in Medical ImagingMedicine被引用 1

一句话总结

本文提出了一种基于人工智能的框架，用于在肿瘤学PET及PET/CT影像中实现自动化检测、分类与预后评估，结合放射组学与深度学习技术。该框架整合手工设计与深度放射组学方法，利用人工智能提取细微的影像模式，实现非侵袭性肿瘤表型特征分析，同时指出了临床转化过程中的挑战，并探讨了自然语言处理（NLP）与神经符号AI等互补技术的应用。

ABSTRACT

Artificial intelligence (AI) techniques have significant potential to enable effective, robust, and automated image phenotyping including identification of subtle patterns. AI-based detection searches the image space to find the regions of interest based on patterns and features. There is a spectrum of tumor histologies from benign to malignant that can be identified by AI-based classification approaches using image features. The extraction of minable information from images gives way to the field of radiomics and can be explored via explicit (handcrafted/engineered) and deep radiomics frameworks. Radiomics analysis has the potential to be utilized as a noninvasive technique for the accurate characterization of tumors to improve diagnosis and treatment monitoring. This work reviews AI-based techniques, with a special focus on oncological PET and PET/CT imaging, for different detection, classification, and prediction/prognosis tasks. We also discuss needed efforts to enable the translation of AI techniques to routine clinical workflows, and potential improvements and complementary techniques such as the use of natural language processing on electronic health records and neuro-symbolic AI techniques.

研究动机与目标

• 开发基于人工智能的方法，利用模式识别技术自动检测PET/CT图像中的感兴趣区域。
• 利用影像衍生特征，实现从良性到恶性肿瘤组织学类型的准确分类。
• 通过结合手工设计与深度学习的放射组学方法，推进非侵袭性肿瘤表型特征分析。
• 通过影像表型预测与预后分析，支持更精准的诊断与治疗监测。
• 识别并解决将人工智能整合至常规临床工作流程中的障碍与解决方案，包括多模态数据融合。

提出的方法

• 采用基于人工智能的检测方法扫描PET/CT图像，依据学习到的图像模式与特征识别感兴趣区域。
• 应用基于人工智能的分类模型，利用图像特征区分良性与恶性肿瘤组织学类型。
• 利用显式（手工设计）放射组学与深度放射组学框架，提取可挖掘的、具有区分性的图像特征。
• 将放射组学与人工智能结合，实现从医学影像中非侵袭性表征肿瘤表型。
• 结合人工智能与电子病历中的自然语言处理（NLP），提升临床背景理解与模型可解释性。
• 探索神经符号人工智能技术，以提升推理能力、可解释性，并实现临床知识与影像数据的融合。

实验结果

研究问题

• RQ1 人工智能如何通过模式识别有效检测PET/CT图像中细微的感兴趣区域？
• RQ2 基于人工智能的分类方法在利用图像特征区分肿瘤组织学类型方面，其准确性能达到何种程度？
• RQ3 手工设计放射组学与深度放射组学在从PET图像中提取预后与诊断信息方面分别发挥何种作用？
• RQ4 人工智能模型如何实现向肿瘤影像常规临床工作流程的转化？
• RQ5 自然语言处理（NLP）与神经符号人工智能在提升人工智能在PET影像中可解释性与临床实用性方面有哪些作用？

主要发现

• 基于人工智能的检测方法能够通过学习复杂图像模式，成功识别PET/CT图像中的感兴趣区域。
• 基于人工智能的分类模型在从良性到恶性的肿瘤组织学谱系中，展现出区分肿瘤类型的能力。
• 放射组学，尤其是与深度学习结合时，能够实现对肿瘤的稳健非侵袭性表型特征分析。
• 通过NLP将人工智能与电子病历集成，显著增强了上下文理解与模型性能。
• 神经符号人工智能技术为提升人工智能驱动影像中可解释性与临床推理能力提供了可行路径。
• 人工智能在PET影像中的临床转化需解决标准化、验证与工作流程整合等挑战。