[论文解读] FREA-Unet: Frequency-aware U-net for Modality Transfer

Hajar Emami, Qiong Liu+1 more|arXiv (Cornell University)|Dec 31, 2020

Generative Adversarial Networks and Image Synthesis参考文献 35被引用 10

一句话总结

本文提出FREA-Unet，一种频率感知的U-Net架构，通过使用注意力机制分别优化特征图的低频和高频分量，提升了从MRI生成合成PET图像的性能。该模型在ADNI数据集上实现了最先进水平的性能，将平均绝对误差（MAE）降低至46.26 ± 5.03，同时PSNR（28.45 ± 2.01）和SSIM（0.87 ± 0.04）均得到提升，相较于先前方法，生成图像具有更清晰的解剖结构细节和更优的结构保真度。

ABSTRACT

While Positron emission tomography (PET) imaging has been widely used in diagnosis of number of diseases, it has costly acquisition process which involves radiation exposure to patients. However, magnetic resonance imaging (MRI) is a safer imaging modality that does not involve patient's exposure to radiation. Therefore, a need exists for an efficient and automated PET image generation from MRI data. In this paper, we propose a new frequency-aware attention U-net for generating synthetic PET images. Specifically, we incorporate attention mechanism into different U-net layers responsible for estimating low/high frequency scales of the image. Our frequency-aware attention Unet computes the attention scores for feature maps in low/high frequency layers and use it to help the model focus more on the most important regions, leading to more realistic output images. Experimental results on 30 subjects from Alzheimers Disease Neuroimaging Initiative (ADNI) dataset demonstrate good performance of the proposed model in PET image synthesis that achieved superior performance, both qualitative and quantitative, over current state-of-the-arts.

研究动机与目标

• 为解决神经疾病诊断中PET成像的高成本与辐射暴露问题。
• 开发一种自动化、高效的从非侵入性MRI数据生成合成PET图像的方法。
• 通过利用频带特定的特征学习与注意力机制，提升模态迁移中的图像质量。
• 在定量指标与视觉保真度方面，超越现有最先进模型在合成PET图像生成任务中的表现。

提出的方法

• 该模型采用U-Net架构，并为特征图的低频与高频分量分别设置独立的优化分支。
• 频率感知注意力模块为低频与高频层的特征图计算注意力分数，以突出重要区域。
• 低频与高频特征分别通过专用的注意力权重进行处理，从而提升空间分辨率与结构细节。
• 网络通过联合损失函数进行训练，以最小化真实PET图像与生成PET图像之间的体素级差异。
• 注意力机制根据特征对PET图像生成的相关性动态分配重要性权重。
• 消融实验验证了频带特定优化与注意力加权在性能提升中的关键作用。

实验结果

研究问题

• RQ1 与标准U-Net相比，分离处理低频与高频特征学习是否能提升合成PET图像的质量？
• RQ2 在频带特定分支中集成注意力机制，是否能增强模型在生成PET图像中保留解剖结构的能力？
• RQ3 与现有最先进方法相比，采用频率感知优化与注意力机制是否能带来更优的定量性能（如更低的MAE、更高的PSNR/SSIM）？
• RQ4 所提方法在多大程度上减少了伪影并提升了合成PET输出的空间分辨率？

主要发现

• FREA-Unet在所有对比模型中实现了最低的平均绝对误差（MAE）46.26 ± 5.03，显著优于U-Net（52.56 ± 6.71）和pix2pix（59.19 ± 7.89）。
• 该模型实现了28.45 ± 2.01的PSNR，为所有方法中的最高值，表明重建保真度更优。
• SSIM值达到0.87 ± 0.04，表明与真实PET图像的结构相似性显著增强，优于其他模型。
• 定性结果表明，FREA-Unet生成的图像边界更清晰，解剖细节保留更佳，尤其在高分辨率区域表现突出。
• 消融实验确认，频带特定优化与注意力机制均不可或缺，任一移除均导致性能下降。
• 在定量指标与视觉质量方面，FREA-Unet均优于U-Net、UcGAN与pix2pix，证实其在模态迁移任务中的有效性。