[论文解读] BIRL: Benchmark on Image Registration methods with Landmark validation

Jiří Borovec|arXiv (Cornell University)|Dec 31, 2019

AI in cancer detection参考文献 32被引用 4

一句话总结

本文介绍了BIRL，一个轻量级、可扩展的Python框架，用于使用基于标记点的评估对图像配准方法进行基准测试。它实现了在生物医学WSI数据集上对配准算法的自动化、并行化比较，关键结果表明在10k像素尺度的CIMA组织学数据集上，DROP和RNiftyReg分别实现了最低的中位数rTRE（2.50 ± 5.11和3.16 ± 1.94），且鲁棒性最强。

ABSTRACT

This report presents a generic image registration benchmark with automatic evaluation using landmark annotations. The key features of the BIRL framework are: easily extendable, performance evaluation, parallel experimentation, simple visualisations, experiment's time-out limit, resuming unfinished experiments. From the research practice, we identified and focused on these two main use-cases: (a) comparison of user's (newly developed) method with some State-of-the-Art (SOTA) methods on a common dataset and (b) experimenting SOTA methods on user's custom dataset (which should contain landmark annotation). Moreover, we present an integration of several standard image registration methods aiming at biomedical imaging into the BIRL framework. This report also contains experimental results of these SOTA methods on the CIMA dataset, which is a dataset of Whole Slice Imaging (WSI) from histology/pathology containing several multi-stain tissue samples from three tissue kinds. Source and results: https://borda.github.io/BIRL

研究动机与目标

• 为解决全切片图像（WSI）配准研究中缺乏标准化、公平比较的问题，提供一个可重用的基准框架。
• 通过在大规模组织学WSI数据集的标记点标注上，实现对新旧配准方法的性能评估。
• 支持在共享数据集上进行方法比较，以及将SOTA方法应用于用户提供的带标记点的自定义数据集。
• 通过集成的可视化与评估流水线，实现可复现、高效且可恢复的基准测试。
• 基于CIMA数据集建立公开基准，支持未来方法的开发与比较。

提出的方法

• BIRL作为Python包实现，采用模块化、面向对象的设计，允许用户继承核心基准类并重写特定方法的配准逻辑。
• 该框架自动化执行多对图像的配准任务，利用标记点计算相对目标配准误差（rTRE）作为主要评估指标。
• 支持实验的并行执行，内置超时限制，并可恢复中断的基准测试。
• 系统集成了预处理（如颜色归一化）和后处理（如配准结果与rTRE指标的可视化）功能。
• 用户可通过指定图像和标记点文件路径，自定义数据集与实验，实现对用户定义数据的灵活基准测试。
• 评估基于基于标记点的rTRE，附加指标包括中位数和最大rTRE、鲁棒性（成功配准比例）以及执行时间。

实验结果

研究问题

• RQ1 在具有标记点标注的大规模、多染色全切片图像（WSI）数据集上，SOTA图像配准方法的表现如何？
• RQ2 图像尺寸（10k像素 vs. 全分辨率WSI）对配准性能和方法稳定性有何影响？
• RQ3 在CIMA数据集上，哪种配准方法在准确性（低rTRE）、鲁棒性（高成功率）和效率（低执行时间）之间实现了最佳平衡？
• RQ4 组织类型（如肺、结肠、乳腺）如何影响不同配准算法的性能？
• RQ5 实现限制（如内存约束、像素索引）在多大程度上影响方法在全WSI图像上的可扩展性？

主要发现

• 在10k像素数据集范围内，DROP实现了最低的中位数rTRE（2.50 ± 5.11）和最高的鲁棒性（98.68%），在所有指标上均优于其他方法。
• RNiftyReg表现强劲，中位数rTRE为3.16 ± 1.94，鲁棒性达78.14%，在准确性和可靠性方面位居前列。
• 在10k与全分辨率WSI尺度之间观察到显著的性能差距，特别是ANTS和DROP在全分辨率图像上失败率明显上升。
• 当从10k像素尺度过渡到全分辨率WSI尺度时，所有方法的中位数rTRE均持续上升，表明大规模配准更具挑战性。
• 鲁棒性在不同组织类型间差异显著，无单一方法在所有组织类型中始终表现最优，但Elastix和DROP在肺组织上表现更优。
• 质量指标（中位数rTRE、最大rTRE和鲁棒性）之间存在强相关性，表明误差较低的方法也具有较高的成功率和较低的变异性。