[论文解读] FetReg: Placental Vessel Segmentation and Registration in Fetoscopy Challenge Dataset

Sophia Bano, Alessandro Casella+10 more|arXiv (Cornell University)|Jun 10, 2021

Prenatal Screening and Diagnostics被引用 6

一句话总结

本论文介绍了FetReg挑战数据集，这是一个大规模、多中心的胎儿内窥镜视频集合，涵盖18例TTTS激光手术的视频，旨在推动胎盘血管分割和视频拼接技术的发展。研究提出了一套基于深度学习的血管分割与金字塔Lucas-Kanade配准相结合的流程，以生成无漂移的拼接图像，结果表明当前方法在应对图像变异、遮挡以及低纹理区域方面仍存在困难。

ABSTRACT

Fetoscopy laser photocoagulation is a widely used procedure for the treatment of Twin-to-Twin Transfusion Syndrome (TTTS), that occur in mono-chorionic multiple pregnancies due to placental vascular anastomoses. This procedure is particularly challenging due to limited field of view, poor manoeuvrability of the fetoscope, poor visibility due to fluid turbidity, variability in light source, and unusual position of the placenta. This may lead to increased procedural time and incomplete ablation, resulting in persistent TTTS. Computer-assisted intervention may help overcome these challenges by expanding the fetoscopic field of view through video mosaicking and providing better visualization of the vessel network. However, the research and development in this domain remain limited due to unavailability of high-quality data to encode the intra- and inter-procedure variability. Through the \ extit{Fetoscopic Placental Vessel Segmentation and Registration (FetReg)} challenge, we present a large-scale multi-centre dataset for the development of generalized and robust semantic segmentation and video mosaicking algorithms for the fetal environment with a focus on creating drift-free mosaics from long duration fetoscopy videos. In this paper, we provide an overview of the FetReg dataset, challenge tasks, evaluation metrics and baseline methods for both segmentation and registration. Baseline methods results on the FetReg dataset shows that our dataset poses interesting challenges, offering large opportunity for the creation of novel methods and models through a community effort initiative guided by the FetReg challenge.

研究动机与目标

• 解决当前缺乏高质量、多样化数据以开发鲁棒的计算机辅助胎儿介入系统的问题。
• 克服胎儿内窥视频分析中的挑战，包括视野受限、可见度差以及器械操作困难。
• 通过社区挑战的形式，推动通用化、无漂移视频拼接与高精度血管分割模型的开发。
• 为在真实胎儿内窥视频序列上评估分割与配准算法提供标准化基准。

提出的方法

• 从多中心的18例TTTS激光手术中收集高分辨率胎儿内窥视频序列，并标注血管分割掩码。
• 采用6折交叉验证策略，训练并评估用于胎盘血管语义分割的深度学习模型。
• 应用基于金字塔Lucas-Kanade光流的配准方法，对连续的血管分割图进行对齐，以最小化光度损失。
• 应用圆形掩码，将配准限制在胎儿内窥镜视野范围内，确保仅处理相关图像区域。
• 使用链式法则将配准后的帧逐帧融合，生成单一的大视场拼接图像。
• 通过一种评估指标，比较每5帧间隔中红色（可视化）与蓝色（未见）帧段的差异，以评估拼接性能。

实验结果

研究问题

• RQ1 基于深度学习的血管分割模型能否在光照、浑浊度和视角变化较大的多样化胎儿内窥视频序列中实现良好泛化？
• RQ2 在长时间胎儿内窥视频中，基于血管的光度损失的金字塔Lucas-Kanade配准方法在多大程度上能生成无漂移的拼接图像？
• RQ3 在胎儿内窥视频中，遮挡、低纹理区域以及扁平化的吻合血管如何影响视频拼接流程的鲁棒性？
• RQ4 当应用于真实临床胎儿内窥镜数据时，当前最先进分割与配准方法的关键失效模式是什么？
• RQ5 基于社区驱动的挑战框架能否通过大规模真实世界数据，加速计算机辅助胎儿介入治疗的创新？

主要发现

• 在血管清晰可见的视频中（如Video001、Video002、Video007、Video008），基线方法取得了高质量的拼接结果，评估得分较高。
• 在存在严重遮挡（如Video008、Video013、Video019）或胎盘视角严重倾斜的序列中，配准失败，原因在于对血管结构的依赖。
• 在低纹理或无血管的帧中，配准方法失效，导致拼接结果不一致或完全失败。
• 尽管基于血管的配准方法有所改进，但由于图像变异性和可见度问题，实现完全鲁棒且连续的拼接仍是开放性挑战。
• 该数据集的高术间变异性对模型泛化构成重大挑战，凸显了对更鲁棒、自适应算法的迫切需求。
• FetReg挑战为推动胎儿视频拼接与分割技术的最先进水平提供了关键基准，具有显著的临床应用潜力。