[论文解读] HQG-Net: Unpaired Medical Image Enhancement with High-Quality Guidance

Chunming He, Kai Li+6 more|arXiv (Cornell University)|Jul 15, 2023

AI in cancer detection被引用 5

一句话总结

本文提出HQG-Net，一种新颖的无配对医学图像增强方法，通过变分归一化模块显式利用无配对的高分辨率（HQ）图像特征来指导低质量（LQ）图像的增强。通过建模LQ与HQ域之间的联合分布，并采用基于小波和多编码器约束的内容感知损失，HQG-Net在三种医学数据集（包括两个新收集的数据集）上实现了更优的视觉质量与下游任务性能，优于当前最先进方法。

ABSTRACT

Unpaired Medical Image Enhancement (UMIE) aims to transform a low-quality (LQ) medical image into a high-quality (HQ) one without relying on paired images for training. While most existing approaches are based on Pix2Pix/CycleGAN and are effective to some extent, they fail to explicitly use HQ information to guide the enhancement process, which can lead to undesired artifacts and structural distortions. In this paper, we propose a novel UMIE approach that avoids the above limitation of existing methods by directly encoding HQ cues into the LQ enhancement process in a variational fashion and thus model the UMIE task under the joint distribution between the LQ and HQ domains. Specifically, we extract features from an HQ image and explicitly insert the features, which are expected to encode HQ cues, into the enhancement network to guide the LQ enhancement with the variational normalization module. We train the enhancement network adversarially with a discriminator to ensure the generated HQ image falls into the HQ domain. We further propose a content-aware loss to guide the enhancement process with wavelet-based pixel-level and multi-encoder-based feature-level constraints. Additionally, as a key motivation for performing image enhancement is to make the enhanced images serve better for downstream tasks, we propose a bi-level learning scheme to optimize the UMIE task and downstream tasks cooperatively, helping generate HQ images both visually appealing and favorable for downstream tasks. Experiments on three medical datasets, including two newly collected datasets, verify that the proposed method outperforms existing techniques in terms of both enhancement quality and downstream task performance. We will make the code and the newly collected datasets publicly available for community study.

研究动机与目标

• 为解决现有无配对医学图像增强（UMIE）方法在LQ图像增强过程中未能显式利用HQ图像信息的局限性。
• 建模低质量（LQ）与高分辨率（HQ）图像域之间的联合分布，以实现更鲁棒、无伪影的增强效果。
• 不仅在视觉质量上提升增强效果，同时在分割与疾病分类等下游临床任务中实现性能提升。
• 开发一种双层优化框架，联合优化图像增强与下游任务性能。
• 公开代码及两个新收集的医学数据集，以支持社区研究。

提出的方法

• HQG-Net引入一种变分归一化模块，将从无配对HQ图像中提取的特征向量注入LQ图像增强生成器，以提供显式指导。
• 通过判别器对抗性训练生成器，确保生成图像落在HQ域的分布范围内。
• 提出一种内容感知损失，结合基于小波的像素级一致性与多编码器的特征级约束，以保留结构与纹理细节。
• 设计一种双层优化方案，通过对齐增强结果与临床实用性，联合优化UMIE任务与下游任务（如分割与分类）。
• 框架利用无配对训练数据，无需配对的LQ-HQ图像，采用端到端训练方式，结合对抗性损失与感知损失。
• 模型在三种医学影像模态上进行评估：角膜共聚焦显微镜（CCM）、结肠镜与眼底成像，并通过消融实验验证各组件的有效性。

实验结果

研究问题

• RQ1 来自无配对HQ图像的显式指导能否提升LQ医学图像增强的保真度与结构准确性？
• RQ2 建模LQ与HQ域之间的联合分布是否能带来优于仅依赖LQ域方法的增强质量？
• RQ3 结合小波与多编码器约束的内容感知损失能否有效保留增强后医学图像的纹理与结构细节？
• RQ4 联合训练增强网络与下游任务的双层优化策略，能否生成更适用于临床决策的图像？
• RQ5 与当前最先进UMIE方法相比，HQG-Net在下游任务（如分割与疾病分类）上的性能提升程度如何？

主要发现

• HQG-Net在包括两个新收集数据集在内的三个医学数据集上，无论在视觉增强质量还是下游任务性能方面，均优于当前最先进方法。
• 在CORN-3数据集上，双层优化策略使神经纤维迂曲度分类准确率提升2.3%，F1分数提升3.2%，证明了其临床实用性的增强。
• 在DiaRet数据集的疾病诊断任务中，HQG-Net相较原始LQ图像，诊断准确率提升11.8%，敏感度提升3.4%，F1分数提升9.2%，精确率提升14.8%。
• 临床医生重新分类任务显示，HQG-Net与HQG-Net+均能将LQ图像增强至临床可接受质量，且无任何增强后的HQ图像被误判为LQ。
• 消融实验表明，内容感知损失与双层优化对性能提升贡献显著，尤其在保留细微结构与提升下游任务准确率方面。
• 该方法在所有评估数据集上，于PSNR、SSIM与FID等多个指标上均达到最先进水平，验证了其鲁棒性与泛化能力。