[论文解读] Limited-view Photoacoustic Imaging Reconstruction With Dual Domain Inputs Under Mutual Information Constraint

Jiadong Zhang, Hengrong Lan+4 more|arXiv (Cornell University)|Nov 12, 2020

Photoacoustic and Ultrasonic Imaging参考文献 14被引用 4

一句话总结

该论文提出DuDoUnet，一种具有信息共享模块（ISB）的双域U-Net，通过结合时域（DAS）和频域（k-space）光声图像，提升有限视角重建性能。通过引入预训练辅助网络的互信息正则化，模型增强了先验知识学习，其在临床数据库上的结构相似性指数（SSIM）达93.56%，峰值信噪比（PSNR）达20.89 dB，优于当前最先进方法。

ABSTRACT

Based on photoacoustic effect, photoacoustic tomography is developing very fast in recent years, and becoming an important imaging tool for both preclinical and clinical studies. With enough ultrasound transducers placed around the biological tissue, PAT can provide both deep penetration and high image contrast by hybrid usage of light and sound. However, considering space and measurement environmental limitations, transducers are always placed in a limited-angle way, which means that the other side without transducer coverage suffers severe information loss. With conventional image reconstruction algorithms, the limited-view tissue induces artifacts and information loss, which may cause doctors misdiagnosis or missed diagnosis. In order to solve limited-view PA imaging reconstruction problem, we propose to use both time domain and frequency domain reconstruction algorithms to get delay-and-sum (DAS) image inputs and k-space image inputs. These dual domain images share nearly same texture information but different artifact information, which can teach network how to distinguish these two kinds of information at input level. In this paper, we propose Dual Domain Unet (DuDoUnet) with specially designed Information Sharing Block (ISB), which can further share two domains' information and distinguish artifacts. Besides, we use mutual information (MI) with an auxiliary network, whose inputs and outputs are both ground truth, to compensate prior knowledge of limited-view PA inputs. The proposed method is verified with a public clinical database, and shows superior results with SSIM = 93.5622% and PSNR = 20.8859.

研究动机与目标

• 为解决因探头覆盖不全导致的有限视角光声断层扫描（PAT）中严重图像伪影与信息丢失问题。
• 通过利用时域（DAS）与频域（k-space）图像输入的互补信息，提升重建质量。
• 通过双域特征融合，使网络在输入层面能够区分纹理与伪影，从而增强基于深度学习的重建性能。
• 通过引入互信息作为辅助约束，补偿有限视角引起的的信息损失，提升先验知识学习能力。

提出的方法

• 所提出的DuDoUnet采用信息共享模块（ISB），并行处理DAS与k-space图像，分别提取两个域的低级原始特征与高级特征。
• ISB利用FFT与IFFT对DAS与k-space输入进行变换，实现在保留各自主要特征的同时实现跨域特征共享。
• 通过拼接与卷积层，网络融合来自两个域的多层次特征，提升对纹理与伪影的区分能力。
• 通过预训练的辅助编码-解码网络，应用变分互信息约束，以真实图像作为输入与输出，学习紧凑且信息量丰富的潜在表征。
• 互信息损失采用可学习均值与方差的条件高斯分布形式，利用Sigmoid基方差估计器稳定训练过程。
• 整体训练目标结合重建损失（MSE）与互信息正则化，兼顾重建保真度与先验知识学习。

实验结果

研究问题

• RQ1 双域输入（时域与频域）是否能通过提供互补的伪影与纹理信息，改善有限视角光声图像重建？
• RQ2 信息共享模块（ISB）在处理DAS与k-space图像时，如何增强特征融合与伪影区分能力？
• RQ3 互信息正则化在基于深度学习的PAT重建中，对先验知识学习的提升程度如何？
• RQ4 所提方法在有限视角条件下，是否优于现有U-Net与双编码器架构，尤其在重建细小血管结构方面？
• RQ5 互信息约束是否能稳定低数据量或有限视角成像场景下的训练过程并提升泛化能力？

主要发现

• 所提出的DuDoUnet结合互信息约束，在结构相似性指数（SSIM）上达到93.5622%，显著优于所有基线方法。
• 该方法在峰值信噪比（PSNR）上达到20.8859 dB，表明其重建保真度优于其他模型。
• DuDoUnet+MI在SSIM（93.56%）与PSNR（20.89 dB）上均优于Unet#1（SSIM: 90.99, PSNR: 19.40）、Unet#2（SSIM: 91.46, PSNR: 19.77）、Ynet（SSIM: 87.25, PSNR: 17.82）与DEUnet（SSIM: 90.65, PSNR: 19.30）。
• 定性结果表明，DuDoUnet+MI成功恢复了细小血管的拓扑结构并保持了结构连续性，而其他方法则产生断裂或虚假结构。
• 消融实验验证了双域输入与互信息正则化对性能提升的显著贡献。
• ISB中使用FFT与IFFT实现了有效的跨域特征学习，且未因域特定操作而增加模型复杂度。