[论文解读] Multi-Frame Super-Resolution Reconstruction with Applications to Medical Imaging

Thomas Köhler|arXiv (Cornell University)|Dec 21, 2018

Advanced Image Processing Techniques被引用 9

一句话总结

本文提出了一种鲁棒的、基于贝叶斯的多帧超分辨率框架，用于医学影像，通过利用亚像素运动和置信度感知建模，从低分辨率视频序列中提升图像分辨率。该方法在性能上达到当前最先进水平，在运动估计不准确时提升PSNR 0.7 dB，在联合彩色通道超分辨率中提升1.5 dB，且在视网膜成像和手术导航中的距离感知应用中得到验证。

ABSTRACT

The optical resolution of a digital camera is one of its most crucial parameters with broad relevance for consumer electronics, surveillance systems, remote sensing, or medical imaging. However, resolution is physically limited by the optics and sensor characteristics. In addition, practical and economic reasons often stipulate the use of out-dated or low-cost hardware. Super-resolution is a class of retrospective techniques that aims at high-resolution imagery by means of software. Multi-frame algorithms approach this task by fusing multiple low-resolution frames to reconstruct high-resolution images. This work covers novel super-resolution methods along with new applications in medical imaging.

研究动机与目标

• 解决临床环境中因硬件限制导致的低分辨率医学影像问题。
• 通过利用自然眼球运动提升视网膜视频分辨率，提高眼科诊断准确性。
• 通过多传感器融合方法，突破距离传感器在影像引导手术中的分辨率限制。
• 开发能够处理真实世界退化（如运动误差和空间异质噪声）的鲁棒超分辨率算法。
• 实现自动、无需超参数调节的优化，以支持医学系统中的实际部署。

提出的方法

• 构建置信度感知的贝叶斯观测模型，以处理图像形成过程中如无效像素等异常值。
• 引入自适应稀疏正则化先验，以更好地建模自然图像统计特性。
• 通过变分贝叶斯推断开发完全自动化的超参数选择策略。
• 应用基于运动的超分辨率方法，利用低分辨率帧之间的亚像素位移。
• 将框架扩展至多模态超分辨率，利用引导数据（如彩色图像）进行运动估计与正则化。
• 将方法推广至无引导的多模态联合超分辨率，实现跨模态增强。

实验结果

研究问题

• RQ1 如何使超分辨率在临床影像中对不准确的运动估计和空间异质噪声具备鲁棒性？
• RQ2 当图像数据包含异常值或受损像素时，置信度感知建模是否能提升超分辨率性能？
• RQ3 在医学影像应用中，联合多模态超分辨率相较于单模态方法有何优势？
• RQ4 在视网膜视频中，自然眼球运动在多大程度上可被利用以实现高分辨率重建？
• RQ5 能否利用高分辨率彩色图像作为引导，从低分辨率飞行时间（ToF）传感器可靠重建高分辨率距离数据？

主要发现

• 在运动估计不准确的情况下，所提方法相比最先进方法提升PSNR 0.7 dB，证明其鲁棒性。
• 在联合彩色通道超分辨率中，与传统逐通道处理相比，该方法在PSNR上提升1.5 dB。
• 当用作预处理步骤时，该框架使自动视网膜血管分割的平均敏感性提高10%。
• 在影像引导手术中，多传感器超分辨率技术相比原始ToF数据，将表面和深度不连续性测量的可靠性分别提高24%和68%。
• 完全自动化的超参数选择机制消除了人工调参需求，支持在临床工作流程中的实际部署。
• 置信度感知观测模型能有效处理如坏像素等异常值，提升重建保真度。