[论文解读] Image registration and super resolution from first principles

Colin B. Clement, Matthew Bierbaum+1 more|arXiv (Cornell University)|Sep 14, 2018

Advanced Image Processing Techniques参考文献 25被引用 4

一句话总结

本文提出超分辨率配准（Super Registration, SR），一种贝叶斯图像配准方法，通过学习潜在图像的模型并将其平移以匹配噪声数据，实现费舍尔信息矩阵的克拉美-罗下界（Cramér-Rao bound, CRB），并消除偏差。与直接平移图像的标准方法相比，后者存在二次噪声缩放问题，SR通过最优结合超分辨率与配准原理，使粒子追踪精度最高提升10倍。

ABSTRACT

Image registration is the inference of transformations relating noisy and distorted images. It is fundamental in computer vision, experimental physics, and medical imaging. Many algorithms and analyses exist for inferring shift, rotation, and nonlinear transformations between image coordinates. Even in the simplest case of translation, however, all known algorithms are biased and none have achieved the precision limit of the Cramer Rao bound (CRB). Following Bayesian inference, we prove that the standard method of shifting one image to match another cannot reach the CRB. We show that the bias can be cured and the CRB reached if, instead, we use Super Registration: learning an optimal model for the underlying image and shifting that to match the data. Our theory shows that coarse-graining oversampled images can improve registration precision of the standard method. For oversampled data, our method does not yield striking improvements as measured by eye. In these cases, however, we show our new registration method can lead to dramatic improvements in extractable information, for example, inferring $10 imes$ more precise particle positions.

研究动机与目标

• 解决长期存在的观测图像配准误差与理论克拉美-罗下界（CRB）之间的差异问题。
• 识别标准图像配准方法中偏差的根本原因，特别是平移不确定性中二次噪声缩放现象。
• 开发一种通过建模潜在图像而非直接平移观测数据来实现CRB的配准方法。
• 证明粗粒化可提升精度，并表明通过贝叶斯推断进行最优模型选择，可在配准中实现类似超分辨率的性能。
• 将该方法扩展至粒子追踪和多模态医学成像等实际应用，其中精度至关重要。

提出的方法

• 该方法将图像配准建模为贝叶斯推断问题，将真实图像 I 视为隐变量，推断最能将平移模型 TΔI 与观测到的噪声图像 φ 和 ψ 对齐的平移 Δ。
• 采用基于数据与模型之间平方差的似然函数，p(φ,ψ|Δ,I) ∝ exp(−1/(2σ²)(||φ−I||² + ||ψ−TΔI||²))，通过对 I 积分以边缘化隐变量图像。
• 超分辨率配准使用傅里叶级数或切比雪夫多项式模型表示 I，通过贝叶斯模型选择确定模型复杂度 M，以最大化证据。
• 通过非线性最小二乘法（如Levenberg-Marquardt）优化后验分布 p(Δ|φ,ψ) 来估计平移 Δ，避免直接图像平移带来的偏差。
• 该方法的时间复杂度为 O(LNM)，可通过随机梯度下降或GPU加速实现进一步优化。
• 通过建模图像形成过程，利用链式法则将方法推广至非刚性变换和多模态成像。

实验结果

研究问题

• RQ1 为何标准图像配准方法在低噪声极限下仍表现出显著高于克拉美-罗下界的偏差和误差？
• RQ2 标准配准中平移不确定性呈现二次噪声缩放的根本原因是什么？其与CRB预测的线性缩放有何本质区别？
• RQ3 对数据进行粗粒化是否能提升配准精度？在何种条件下该方法有效？
• RQ4 是否可通过建模潜在图像而非直接比较噪声图像，实现平移估计的CRB？
• RQ5 超分辨率配准在下游任务（如粒子追踪）中的性能提升程度如何，具体提升幅度是多少？

主要发现

• 直接将一幅图像平移以匹配另一幅图像的标准方法本质上存在偏差，且由于边缘效应和噪声引起的方差随 σ 的平方增长，无法达到克拉美-罗下界。
• 对过采样的图像进行粗粒化可显著提升平移精度，但前提是已知潜在图像的最高频率。
• 超分辨率配准通过学习真实图像的模型并将其平移以匹配数据，实现了克拉美-罗下界，并在周期性和非周期性图像中均消除了偏差。
• 对于周期性图像，SR中采用傅里叶级数模型的平移误差与CRB一致，验证了理论最优性。
• 在非周期性图像中使用切比雪夫模型时，SR即使在视觉质量提升不明显的情况下，也显著降低了偏差和期望误差，优于标准方法。
• 使用SR重建图像进行粒子追踪，精度最高可提升10倍，充分展示了其在实验物理和显微成像中的实际应用价值。