[论文解读] Blind Image Quality Assessment for MRI with A Deep Three-dimensional content-adaptive Hyper-Network

Kehan Qi, Haoran Li+5 more|arXiv (Cornell University)|Jul 13, 2021

Image and Video Quality Assessment参考文献 35被引用 4

一句话总结

该论文提出HyS-Net，一种用于盲MRI图像质量评估的3D内容自适应超网络，通过利用3D空间特征和动态生成的网络参数来提升性能。通过将3D主干网络与内容感知超网络相结合，该方法在MRIQC数据集上实现了最先进水平的SROCC（0.7566）和PLCC（0.8231），显著优于现有方法。

ABSTRACT

Image Quality Assessment (IQA) is of great value in the workflow of Magnetic Resonance Imaging (MRI)-based analysis. Blind IQA (BIQA) methods are especially required since high-quality reference MRI images are usually not available. Recently, many efforts have been devoted to developing deep learning-based BIQA approaches. However, the performance of these methods is limited due to the utilization of simple content-non-adaptive network parameters and the waste of the important 3D spatial information of the medical images. To address these issues, we design a 3D content-adaptive hyper-network for MRI BIQA. The overall 3D configuration enables the exploration of comprehensive 3D spatial information from MRI images, while the developed content-adaptive hyper-network contributes to the self-adaptive capacity of network parameters and thus, facilitates better BIQA performance. The effectiveness of the proposed method is extensively evaluated on the open dataset, MRIQC. Promising performance is achieved compared with the corresponding baseline and 4 state-of-the-art BIQA methods. We make our code available at \url{https://git.openi.org.cn/SIAT_Wangshanshan/HyS-Net}.

研究动机与目标

• 为解决现有盲图像质量评估（BIQA）方法在MRI领域中的局限性，特别是缺乏对3D空间信息的利用以及网络参数非自适应的问题。
• 通过引入随图像内容变化的自适应网络参数，弥合模型预测与人类感知之间的差距。
• 开发一种基于深度学习的BIQA框架，有效利用MRI图像体积中的3D空间结构以提升质量评估性能。
• 在大规模公开MRI数据集上评估所提方法，并证明其相对于最先进方法的优越性。

提出的方法

• 使用3D卷积神经网络主干网络从3D MRI图像中提取全面的空间特征，保留体素上下文信息。
• 内容自适应超网络基于输入图像内容动态生成任务特定的网络权重，实现自适应参数调优。
• 超网络以MRI图像的全局上下文嵌入作为输入，生成回归头的权重，确保内容感知的自适应性。
• 通过回归损失进行端到端训练，从无参考的失真MRI扫描中预测图像质量评分。
• 3D空间特征提取的使用确保了方法能够捕捉对MRI质量评估至关重要的层间与层内关系。
• 对生成权重进行主成分分析（PCA）证实了超网络的内容自适应特性，显示不同图像内容下具有不同的权重模式。

实验结果

研究问题

• RQ1 与忽略体素上下文的2D方法相比，3D空间感知架构是否能提升盲MRI图像质量评估性能？
• RQ2 基于图像内容动态生成参数的内容自适应超网络是否能提升BIQA中与人类感知的一致性？
• RQ3 3D空间特征与内容自适应权重生成的结合如何共同影响BIQA性能？
• RQ4 所提方法在真实MRI数据上相对于现有最先进BIQA模型的性能优势有多大？

主要发现

• HyS-Net在MRIQC数据集上实现了0.7566的斯皮尔曼等级相关系数（SROCC）和0.8231皮尔逊线性相关系数（PLCC），优于所有对比方法。
• 消融实验表明，将3D空间特征提取器与内容自适应超网络结合可带来最大性能提升，SROCC相比基线提升0.0243。
• 仅引入内容自适应超网络而无3D空间特征时，性能提升微弱甚至下降，表明3D上下文对有效自适应至关重要。
• 通过PCA对生成权重的可视化表明，超网络能产生具有明显差异、依赖于内容的权重模式，验证了其内容自适应能力。
• 采用ResNet-50主干网络并结合3D空间特征与超网络的模型性能略优于ResNet-18，但仅使用更深网络而无自适应组件时性能反而下降。
• 与四种最先进方法——BRISQUE、DBCNN、deepIQA和Two Stream CNN相比，HyS-Net的SROCC高出0.0307，PLCC高出0.0234，证实其性能更优。