[论文解读] Deep-learning Image Reconstruction for Real-time Photoacoustic System

MinWoo Kim, Geng-Shi Jeng+2 more|arXiv (Cornell University)|Jan 14, 2020

Photoacoustic and Ultrasonic Imaging参考文献 44被引用 4

一句话总结

本文提出了一种基于深度卷积神经网络（CNN）的图像重建方法，用于实时光声（PA）成像，通过将二维原始数据转换为三维张量（空间 + 通道维度）以保持信号完整性。该方法在合成微血管数据上进行训练，采用U-Net架构，在对比度和结构保持方面优于传统方法，在模拟、体模及人体手指在体成像中均实现了更优的图像质量。

ABSTRACT

Recent advances in photoacoustic (PA) imaging have enabled detailed images of microvascular structure and quantitative measurement of blood oxygenation or perfusion. Standard reconstruction methods for PA imaging are based on solving an inverse problem using appropriate signal and system models. For handheld scanners, however, the ill-posed conditions of limited detection view and bandwidth yield low image contrast and severe structure loss in most instances. In this paper, we propose a practical reconstruction method based on a deep convolutional neural network (CNN) to overcome those problems. It is designed for real-time clinical applications and trained by large-scale synthetic data mimicking typical microvessel networks. Experimental results using synthetic and real datasets confirm that the deep-learning approach provides superior reconstructions compared to conventional methods.

研究动机与目标

• 解决手持式光声（PA）系统因检测视场受限和带宽狭窄导致的图像质量差的问题。
• 克服传统重建方法（如时延叠加法、最小方差法）存在的对比度低和结构伪影等问题。
• 通过设计计算开销低的深度学习框架，实现实时临床应用。
• 通过保留微弱信号和传统方法中易丢失的精细微血管结构，提升图像保真度。
• 开发一种数据驱动方法，从模拟真实临床条件的合成PA数据中学习，无需针对具体物理系统进行调参。

提出的方法

• 将二维原始PA数据（时间 vs. 探测器）转换为三维张量（空间 x 空间 x 通道），其中每个通道代表一个空间点的传播时延分布。
• 应用基于帧束的预处理步骤，通过利用多尺度信号结构提升学习效率。
• 采用带有跳跃连接的U-Net架构，实现多分辨率特征提取并提升重建保真度。
• 使用大规模合成数据集端到端训练CNN，模拟在真实PA系统参数下的微血管网络。
• 利用前向PA算子的伴随算子，将网络解释为学习到的逆求解器，替代手工设计的滤波器。
• 将CNN解释为学习到的基于帧束的分解，其中非局部基和系数被优化以最小化重建误差。

实验结果

研究问题

• RQ1 与传统方法相比，基于深度学习的重建方法是否能在有限视场、窄带宽的PA成像中显著提升图像对比度和结构保持能力？
• RQ2 与标准的二维图像域学习相比，将原始PA数据转换为三维张量（空间 + 通道）在提升学习效率和重建精度方面有何优势？
• RQ3 在合成数据上训练的CNN在真实世界体模和在体PA成像场景中的泛化能力如何？
• RQ4 所提出的方法是否能在不牺牲图像质量的前提下实现实时性能，适用于临床PAUS系统？
• RQ5 具有帧束启发设计的U-Net架构在处理PA成像中病态逆问题方面，与传统基于模型的方法相比表现如何？

主要发现

• 所提出的基于CNN的重建方法在合成数据上显著优于传统的时延叠加法（DAS）和最小方差法（MV），在图像对比度和结构保持方面表现更优。
• 在体模实验中，深度学习方法在重建微血管特征方面保真度更高，且伪影更少，优于标准技术。
• 人体手指在体成像结果表明，该方法能够在实时临床条件下清晰分辨精细微血管结构并保持高对比度。
• 原始数据的三维张量转换提升了学习效率，并有效增强了微弱信号和细节的保留能力。
• 基于U-Net的架构有效学习到抑制伪影并增强信号相干性，优于传统滤波和波束成形方法。
• 该方法在标准硬件上实现了快速重建速度，验证了其适用于临床PAUS系统的实时性能。