[论文解读] Deep learning for photoacoustic imaging: a survey

Changchun Yang, Hengrong Lan+2 more|arXiv (Cornell University)|Aug 10, 2020

Photoacoustic and Ultrasonic Imaging参考文献 130被引用 16

一句话总结

本综述回顾了深度学习在光声成像中的应用，涵盖从图像重建到疾病诊断的各类技术。文章介绍了深度学习的基础概念，系统回顾了成像全流程中的最新进展，并为该领域的研究人员提供了开源资源。

ABSTRACT

Machine learning has been developed dramatically and witnessed a lot of applications in various fields over the past few years. This boom originated in 2009, when a new model emerged, that is, the deep artificial neural network, which began to surpass other established mature models on some important benchmarks. Later, it was widely used in academia and industry. Ranging from image analysis to natural language processing, it fully exerted its magic and now become the state-of-the-art machine learning models. Deep neural networks have great potential in medical imaging technology, medical data analysis, medical diagnosis and other healthcare issues, and is promoted in both pre-clinical and even clinical stages. In this review, we performed an overview of some new developments and challenges in the application of machine learning to medical image analysis, with a special focus on deep learning in photoacoustic imaging. The aim of this review is threefold: (i) introducing deep learning with some important basics, (ii) reviewing recent works that apply deep learning in the entire ecological chain of photoacoustic imaging, from image reconstruction to disease diagnosis, (iii) providing some open source materials and other resources for researchers interested in applying deep learning to photoacoustic imaging.

研究动机与目标

• 为光声成像中深度学习应用在完整成像流程中的应用提供全面概述。
• 介绍与医学影像及光声应用相关的深度学习核心基础概念。
• 回顾深度学习在光声图像重建、分割和疾病诊断方面的最新研究进展。
• 整理并分享开源工具、数据集和代码，以加速光声成像中深度学习的研究。
• 识别将深度学习整合到临床光声成像工作流程中的当前挑战与未来研究方向。

提出的方法

• 系统性地调研应用于光声成像的深度学习技术，包括卷积神经网络（CNNs）、U-Net架构和生成模型。
• 对光声成像全链条中的深度学习方法进行分类与分析：数据采集、图像重建、分割和诊断。
• 回顾最先进的模型，如用于图像重建的U-Net和用于疾病检测的分类网络。
• 突出展示在光声成像中使用的关键网络设计与训练策略，包括端到端学习和数据增强技术。
• 对比深度学习模型与传统方法在图像质量、速度和准确性方面的性能表现。
• 提供经筛选的开源代码仓库、数据集和预训练模型列表，以支持可复现性与进一步研究。

实验结果

研究问题

• RQ1 与传统方法相比，深度学习在光声计算机断层扫描中如何提升图像重建质量？
• RQ2 在光声图像中分割解剖结构或检测病灶时，最有效的深度学习架构是什么？
• RQ3 深度学习模型在哪些方面提升了基于光声成像的疾病诊断的准确性与鲁棒性？
• RQ4 在临床光声成像环境中部署深度学习模型面临哪些主要挑战？
• RQ5 开源工具和共享资源如何加速光声成像中深度学习的创新？

主要发现

• 特别是U-Net及其变体在内的深度学习模型，显著提升了光声成像中的图像重建质量，并减少了伪影。
• 端到端深度学习方法在速度和准确性方面均优于传统的迭代重建方法。
• 卷积神经网络在光声数据中对血管分割和早期肿瘤检测方面表现出高精度。
• 生成对抗网络（GANs）等生成模型在数据增强和合成光声图像生成方面展现出巨大潜力。
• 将深度学习与光声成像相结合，可实现更快、更准确、更鲁棒的诊断工作流程。
• 开源工具和代码仓库的可用性显著加速了该领域研究的进展，并提升了研究的可复现性。