[论文解读] Automatic Nonrigid Histological Image Registration with Adaptive Multistep Algorithm

Marek Wodziński, Andrzej Skalski|arXiv (Cornell University)|Apr 1, 2019

Advanced Image and Video Retrieval Techniques参考文献 8被引用 4

一句话总结

本论文提出了一种稳健的全自动非刚性组织病理学图像配准方法，用于ANHIR挑战赛，结合了预处理、多种初始配准策略以及四种并行的非刚性配准算法（局部仿射、Demons、MIND Demons和TPS）。该方法在自动选择策略下从多种算法中选出最优结果，实现了0.38%的平均中位数rTRE和99.792%的鲁棒性。

ABSTRACT

In this paper, we present a short description of the method proposed to ANHIR challenge organized jointly with the IEEE ISBI 2019 conference. We propose a method consisting of preprocessing, initial alignment, nonrigid registration algorithms and a method to automatically choose the best result. The method turned out to be robust (99.792% robustness) and accurate (0.38% average median rTRE). The main drawback of the proposed method is relatively high computation time. However, this aspect can be easily improved by cleaning the code and proposing a GPU implementation.

研究动机与目标

• 解决在存在缺失数据和强度差异的情况下，全自动非刚性多模态组织病理学图像配准的挑战。
• 开发一种无需人工干预或参数调优的稳健全自动流程。
• 提升在具有结构性不匹配或强度差异的多样化、困难组织病理学图像对中的配准精度。
• 在ANHIR挑战赛中取得高性能表现，其中排名基于中位数rTRE，要求即使在困难情况下也能实现最小误差。

提出的方法

• 通过转换为灰度图、平滑处理、下采样至特定分辨率（1024–4096像素）、直方图匹配以平衡强度分布、零填充以及强度反转对图像进行预处理。
• 使用SIFT、ORB和SURF特征结合RANSAC估计相似性变换，通过阈值掩膜的Dice系数选择最佳初始配准结果。
• 当第一种方法失败时，采用Li阈值法和基于SSD与仿射配准的迭代旋转优化作为替代初始配准方法。
• 并行运行四种非刚性配准算法：带亮度/对比度校正和缺失数据概率估计的局部仿射配准、对称复合Demons、基于MIND描述符之间SSD的MIND Demons，以及基于初始配准中关键点匹配的TPS。
• 通过固定图像中掩膜区域与对应变换后移动图像之间MIND SSD最小化，自动选择最优非刚性结果。
• 使用故障检测机制识别并处理困难情况，确保在全部481对训练图像中均具备鲁棒性。

实验结果

研究问题

• RQ1 多模态全自动非刚性配准流程是否能在存在缺失数据和强度差异的困难组织病理学图像对上实现高精度和高鲁棒性？
• RQ2 当结合自动结果选择时，多种非刚性配准算法（局部仿射、Demons、MIND Demons、TPS）的集成在多大程度上有效？
• RQ3 直方图匹配在初始配准中的改善作用有多大？在何种情况下可能产生负面影响，尤其是对于多模态图像？
• RQ4 基于初始特征匹配的简单TPS方法是否能在困难情况下优于更复杂的算法？在何种条件下表现更优？
• RQ5 在以中位数rTRE为关键指标的挑战赛设置中，并行使用多种算法并结合自动选择，如何提升最终排名？

主要发现

• 该方法在所有训练图像对上实现了0.38%的平均中位数rTRE，表明配准精度极高。
• 鲁棒性达到99.792%，在481对图像中仅有一次失败，显示出极强的可靠性。
• 局部仿射配准方法在大多数情况下表现良好，但引入Demons和MIND Demons后，中位数rTRE进一步降低0.04%，并修正了三个困难案例的失败。
• 尽管TPS插值方法计算成本较低，但在其他算法失败的最困难情况下显著降低了误差。
• 基于固定图像掩膜区域与对应变换后移动图像之间MIND SSD的最终结果选择策略，有效识别出每对图像中表现最佳的算法。
• 尽管由于局部仿射方法采用单核实现导致计算时间较长，但通过为Demons和MIND Demons等快速算法使用更高分辨率（最高达4096像素），显著提升了整体性能。