[论文解读] Feedback Graph Attention Convolutional Network for Medical Image Enhancement

Xiaobin Hu, Yanyang Yan+5 more|arXiv (Cornell University)|Jun 24, 2020

Advanced Image Processing Techniques参考文献 13被引用 11

一句话总结

本文提出了一种新型深度学习框架——反馈图注意力卷积网络（FB-GACN），用于医学图像增强。该框架通过基于图的全局结构建模与反馈精炼机制，提升了MRI图像的纹理细节并抑制了伪影，在扩散成像和FLAIR序列MRI扫描的超分辨率重建与伪影去除任务中达到了最先进性能。

ABSTRACT

Artifacts, blur and noise are the common distortions degrading MRI images during the acquisition process, and deep neural networks have been demonstrated to help in improving image quality. To well exploit global structural information and texture details, we propose a novel biomedical image enhancement network, named Feedback Graph Attention Convolutional Network (FB-GACN). As a key innovation, we consider the global structure of an image by building a graph network from image sub-regions that we consider to be node features, linking them non-locally according to their similarity. The proposed model consists of three main parts: 1) The parallel graph similarity branch and content branch, where the graph similarity branch aims at exploiting the similarity and symmetry across different image sub-regions in low-resolution feature space and provides additional priors for the content branch to enhance texture details. 2) A feedback mechanism with a recurrent structure to refine low-level representations with high-level information and generate powerful high-level texture details by handling the feedback connections. 3) A reconstruction to remove the artifacts and recover super-resolution images by using the estimated sub-region correlation priors obtained from the graph similarity branch. We evaluate our method on two image enhancement tasks: i) cross-protocol super resolution of diffusion MRI; ii) artifact removal of FLAIR MR images. Experimental results demonstrate that the proposed algorithm outperforms the state-of-the-art methods.

研究动机与目标

• 解决MRI采集过程中常见的模糊、噪声与伪影等图像质量退化问题。
• 通过挖掘图像子区域之间的全局结构与对称关系，提升低分辨率医学图像的纹理细节恢复能力。
• 通过引入基于图网络提取的子区域相关性先验，提升超分辨率重建性能。
• 利用循环反馈机制，将高层语义信息融入低层特征，实现更精确的特征精炼。
• 构建一个统一框架，适用于多种MRI扫描序列，包括扩散成像与FLAIR序列。

提出的方法

• 构建图网络，将图像子区域视为节点，基于低分辨率特征空间中的相似性定义边，以建模全局结构依赖关系。
• 采用并行架构，包含图相似性分支与内容分支，前者为后者提供结构先验，以指导纹理增强。
• 引入循环反馈机制，通过高层特征迭代精炼低层表示，生成更精确的纹理细节。
• 利用图相似性分支估计的子区域相关性先验，指导重建模块实现伪影去除与高分辨率图像恢复。
• 基于特征相似性在子区域间建立非局部连接，以捕捉长距离依赖关系，而无需依赖固定卷积核大小。
• 结合多尺度特征学习与注意力机制，在增强过程中优先关注相关结构模式。

实验结果

研究问题

• RQ1 建模图像子区域之间的全局结构关系是否能提升低分辨率MRI的纹理细节恢复？
• RQ2 将基于图的相似性先验引入模型，能否显著提升深度学习模型在医学图像超分辨率任务中的性能？
• RQ3 循环反馈机制在多大程度上改善了医学图像增强中的特征表示学习？
• RQ4 所提出的框架能否在不同MRI扫描协议（如扩散成像与FLAIR）中有效泛化，实现伪影去除与超分辨率？
• RQ5 与传统基于CNN的方法相比，图网络提供的结构先验是否能实现更优的伪影抑制效果？

主要发现

• 所提出的FB-GACN在扩散MRI的跨协议超分辨率任务中优于当前最先进方法，取得了更高的PSNR与SSIM值。
• 在FLAIR MRI伪影去除任务中，FB-GACN显著降低了噪声与模糊，同时有效保留了精细解剖结构。
• 图相似性分支能有效捕捉子区域间的对称性与结构模式，显著提升了纹理细节恢复能力。
• 反馈机制通过将高层语义上下文迭代融入低层特征，增强了特征表示能力。
• 子区域相关性先验的整合显著提升了重建精度，有效减少了合成与真实MRI数据中的伪影。
• 消融实验表明，图建模与反馈组件对最优性能均至关重要，两者对最终增强质量均有显著贡献。