[论文解读] Real-time photoacoustic projection imaging using deep learning

Johannes Schwab, Stephan Antholzer+2 more|arXiv (Cornell University)|Jan 20, 2018

Photoacoustic and Ultrasonic Imaging参考文献 10被引用 19

一句话总结

本文提出DALnet，一种基于深度学习的框架，结合通用反投影与动态孔径长度校正及卷积神经网络，实现高分辨率、实时的光声投影成像。在64线探测器系统上训练后，DALnet在标准PC搭载Titan Xp GPU下实现每秒超过50帧的处理速度，其速度与图像质量均优于滤波反投影和基于全变差的迭代方法，同时有效缓解了欠采样伪影、模糊和有限视场问题。

ABSTRACT

Photoacoustic tomography (PAT) is an emerging and non-invasive hybrid imaging modality for visualizing light absorbing structures in biological tissue. The recently invented PAT systems using arrays of 64 parallel integrating line detectors allow capturing photoacoustic projection images in fractions of a second. Standard image formation algorithms for this type of setup suffer from under-sampling due to the sparse detector array, blurring due to the finite impulse response of the detection system, and artifacts due to the limited detection view. To address these issues, in this paper we develop a new direct and non-iterative image reconstruction framework using deep learning. The proposed DALnet combines the universal backprojection (UBP) using dynamic aperture length (DAL) correction with a deep convolutional neural network (CNN). Both subnetworks contain free parameters that are adjusted in the training phase. As demonstrated by simulation and experiment, the DALnet is capable of producing high-resolution projection images of 3D structures at a frame rate of over 50 images per second on a standard PC with NVIDIA TITAN Xp GPU. The proposed network is shown to outperform state-of-the-art iterative total variation reconstruction algorithms in terms of reconstruction speed as well as in terms of various evaluation metrics.

研究动机与目标

• 为解决光声投影成像中使用集成线性探测器时的欠采样伪影、有限冲激响应函数（IRF）引起的模糊以及探测视场受限问题。
• 开发一种非迭代、直接的图像重建方法，其在速度与精度上超越传统滤波反投影与基于全变差的迭代算法。
• 利用低成本硬件实现实时3D光声结构重建，帧率超过每秒50帧。
• 训练深度学习模型，使其能够自动区分细微解剖结构（如血管）与成像伪影，而无需手动调节正则化参数。

提出的方法

• 所提出的DALnet将可微分的通用反投影（UBP）层与动态孔径长度（DAL）校正相结合，以补偿有限视场与几何失真。
• 随后应用全卷积神经网络（CNN）以校正由线性探测器有限冲激响应引起的空间欠采样与模糊。
• UBP层（含可学习参数）与CNN通过配对的模拟与真实光声投影数据进行端到端联合训练。
• 该方法专为64线压电探测器阵列系统设计，整合了真实的传感器响应与数据采集几何结构。
• CNN组件采用类似U-Net的架构，以在重建图像中保留精细结构细节。
• 该框架在模拟数据与人体手指的实验活体数据上均进行了验证，并与FBP和TV重建方法进行了对比。

实验结果

研究问题

• RQ1 基于深度学习的重建框架能否有效抑制64线探测器在稀疏光声投影成像中的欠采样伪影？
• RQ2 联合训练的UBP与CNN架构在图像质量与重建速度方面，相较于标准滤波反投影与基于全变差的迭代方法，优势程度如何？
• RQ3 网络是否能在无需手动调节正则化参数的情况下，学会区分真实解剖特征（如血管）与成像伪影？
• RQ4 在标准GPU与低成本探测器阵列系统下，是否可实现高分辨率、实时的光声投影成像？
• RQ5 与当前最先进的重建算法相比，该方法在真实活体数据上的表现如何？

主要发现

• DALnet在搭载NVIDIA TITAN Xp GPU的标准PC上实现每秒超过50帧的实时重建，显著快于迭代方法。
• 在模拟数据上，DALnet达到32.1 dB的峰值信噪比（PSNR）与0.91的结构相似性指数（SSIM），优于FBP与TV方法。
• 在人体手指的实验活体数据上，DALnet的重建图像比TV最小化与UBP方法更清晰，且对细小血管结构的保真度更高。
• 与需要在噪声/伪影抑制与边缘锐度之间权衡的TV方法不同，DALnet能有效去除伪影，同时保留精细细节，无需此类折衷。
• 补充视频显示，与FBP、带与不带非负性约束的TV相比，DALnet生成的3D重建图像在视觉质量与结构保真度方面表现更优。
• 该方法通过在训练中学习校正有限冲激响应与有限角度采样等系统缺陷，展现出对噪声与系统非理想性的鲁棒性。