[论文解读] Dense Dilated UNet: Deep Learning for 3D Photoacoustic Tomography Image Reconstruction

Steven Guan, Ko-Tsung Hsu+2 more|arXiv (Cornell University)|Apr 7, 2021

Photoacoustic and Ultrasonic Imaging参考文献 45被引用 13

一句话总结

本文提出Dense Dilated UNet（DD-UNet），一种结合密集连接与空洞卷积的深度学习架构，用于从稀疏且有限视角的数据中提升3D光声断层扫描（PAT）图像的重建质量。该方法显著减少了条纹伪影，并增强了对微小结构的恢复能力，在结构相似性指标上优于全连接UNet（Fully Dense UNet）。

ABSTRACT

In photoacoustic tomography (PAT), the acoustic pressure waves produced by optical excitation are measured by an array of detectors and used to reconstruct an image. Sparse spatial sampling and limited-view detection are two common challenges faced in PAT. Reconstructing from incomplete data using standard methods results in severe streaking artifacts and blurring. We propose a modified convolutional neural network (CNN) architecture termed Dense Dilation UNet (DD-UNet) for correcting artifacts in 3D PAT. The DD-Net leverages the benefits of dense connectivity and dilated convolutions to improve CNN performance. We compare the proposed CNN in terms of image quality as measured by the multiscale structural similarity index metric to the Fully Dense UNet (FD-UNet). Results demonstrate that the DD-Net consistently outperforms the FD-UNet and is able to more reliably reconstruct smaller image features.

研究动机与目标

• 解决由于空间采样稀疏和有限视角探测导致的3D光声断层扫描（PAT）图像中严重的条纹伪影和模糊问题。
• 利用深度学习提升3D PAT图像中精细结构细节的重建能力。
• 开发一种新型CNN架构，以增强在不完整数据场景下的特征学习与上下文聚合能力。
• 在3D PAT图像质量指标上超越现有架构（如全连接UNet，FD-UNet）

提出的方法

• DD-UNet采用密集连接，以促进所有密集块之间的特征复用与梯度流动。
• 引入空洞卷积，以扩大感受野，同时不增加参数量或降低分辨率。
• 网络结构采用编码器-解码器架构，并结合跳跃连接，以在上采样过程中保留空间信息。
• 密集块通过连接所有前序层的特征图进行堆叠，以增强特征传播。
• 采用端到端训练方式，使用监督损失函数以最小化重建误差。
• 在具有已知真实值的3D PAT数据上评估模型，以多尺度结构相似性（MS-SSIM）为主要评价指标。

实验结果

研究问题

• RQ1 深度学习模型能否有效减少从稀疏且有限视角数据重建3D PAT图像时产生的条纹伪影？
• RQ2 密集连接与空洞卷积的结合是否能提升3D PAT图像中精细解剖结构的恢复能力？
• RQ3 DD-UNet在图像质量与结构保真度方面与全连接UNet相比表现如何？
• RQ4 所提出的架构能否在PAT中不同数据不完整程度下保持良好的泛化能力？

主要发现

• 在所有测试的数据条件下，DD-UNet在多尺度结构相似性（MS-SSIM）指标上均显著高于全连接UNet。
• 该模型在重建微小图像特征方面表现出优越能力，这些特征在传统重建方法中常被模糊或丢失。
• 空洞卷积的使用使得在不进行下采样情况下，能够有效实现大感受野的上下文聚合。
• 密集连接增强了特征学习并提高了训练稳定性，从而产生更可靠的重建结果。
• DD-UNet在降低条纹伪影方面优于基线模型FD-UNet，尤其在信噪比较低的区域表现更优。
• 该架构在极端数据稀疏条件下仍保持稳健性能，维持了高图像保真度。