[논문 리뷰] FetReg: Placental Vessel Segmentation and Registration in Fetoscopy Challenge Dataset

Sophia Bano, Alessandro Casella외 10명|arXiv (Cornell University)|2021. 06. 10.

Prenatal Screening and Diagnostics인용 수 6

한 줄 요약

이 논문은 TTTS 레이저 수술 18건의 다중 센터에서 확보한 대규모 고해상도 초음파 내시경 영상 데이터셋인 FetReg 챌린지 데이터셋을 소개한다. 이는 태반 혈관 분할 및 영상 모자이킹 기술의 발전을 위해 제작되었으며, 딥러닝 기반 혈관 분할 및 피라미드형 Lucas-Kanade 정렬을 활용한 드리프트 없는 모자이킹 파이프라인을 제안한다. 현재 기술은 변동성, 가림, 낮은 무늬 영역 등에 여전히 취약함을 입증한다.

ABSTRACT

Fetoscopy laser photocoagulation is a widely used procedure for the treatment of Twin-to-Twin Transfusion Syndrome (TTTS), that occur in mono-chorionic multiple pregnancies due to placental vascular anastomoses. This procedure is particularly challenging due to limited field of view, poor manoeuvrability of the fetoscope, poor visibility due to fluid turbidity, variability in light source, and unusual position of the placenta. This may lead to increased procedural time and incomplete ablation, resulting in persistent TTTS. Computer-assisted intervention may help overcome these challenges by expanding the fetoscopic field of view through video mosaicking and providing better visualization of the vessel network. However, the research and development in this domain remain limited due to unavailability of high-quality data to encode the intra- and inter-procedure variability. Through the \ extit{Fetoscopic Placental Vessel Segmentation and Registration (FetReg)} challenge, we present a large-scale multi-centre dataset for the development of generalized and robust semantic segmentation and video mosaicking algorithms for the fetal environment with a focus on creating drift-free mosaics from long duration fetoscopy videos. In this paper, we provide an overview of the FetReg dataset, challenge tasks, evaluation metrics and baseline methods for both segmentation and registration. Baseline methods results on the FetReg dataset shows that our dataset poses interesting challenges, offering large opportunity for the creation of novel methods and models through a community effort initiative guided by the FetReg challenge.

연구 동기 및 목표

• 초음파 내시경 수술에서 강력한 컴퓨터 보조 태아 수술 시스템 개발을 위한 고품질, 다양한 데이터의 부족을 보완하기 위해.
• 초음파 내시경 영상 분석의 과제인 낮은 시야, 제한된 시야, 기구의 이동성 문제를 해결하기 위해.
• 공동체 챌린지 프레임워크를 통해 일반화된 드리프트 없는 영상 모자이킹 및 정확한 혈관 분할 모델 개발을 가능하게 하기 위해.
• 실제 임상 초음파 내시경 영상 시퀀스에서 분할 및 정렬 알고리즘 평가를 위한 표준화된 벤치마크 제공하기 위해.

제안 방법

• 다중 센터 TTTS 레이저 수술 절차에서 확보한 18개의 고해상도 초음파 내시경 영상 시퀀스를 수집하고, 혈관 분할 마스크로 주석 처리한다.
• 심층 신경망을 활용한 의미 분할 모델의 훈련 및 평가를 위해 6중 교차 검증 전략을 적용한다.
• 연속된 혈관 분할 지도를 정렬하기 위해 피라미드형 Lucas-Kanade 광학 흐름 기반 정렬을 적용하고, 광학적 손실을 최소화한다.
• 내시경 시야 범위 내에서만 처리되도록 원형 마스킹을 적용하여 관련 영역에만 영향을 주도록 한다.
• 사슬 법칙을 활용해 등록된 프레임을 순차적으로 융합하여 하나의 넓은 시야 모자이킹을 생성한다.
• 5프레임 간격으로 빨간색(시각화된) 및 파란색(보이지 않는) 프레임 세그먼트를 비교하는 평가 지표를 사용해 모자이킹 성능을 평가한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 혈관 분할 모델은 빛의 세기, 탁도, 시야 각도의 높은 변동성이 있는 다양한 초음파 내시경 영상 시퀀스에 일반화될 수 있는가?
• RQ2 혈관 기반 광학적 손실을 활용한 피라미드형 Lucas-Kanade 정렬은 장시간 초음파 내시경 영상에서 드리프트 없는 모자이킹을 얼마나 잘 달성할 수 있는가?
• RQ3 가림, 낮은 무늬 영역, 평탄한 분지 혈관이 초음파 내시경 영상 모자이킹 파이프라인의 강건성에 어떤 영향을 미치는가?
• RQ4 현행 최첨단 분할 및 정렬 방법이 실제 임상 초음파 내시경 데이터에 적용되었을 때 주요 실패 원인은 무엇인가?
• RQ5 공동체 기반 챌린지 프레임워크는 대규모 실생활 데이터를 활용해 컴퓨터 보조 태아 수술 분야의 혁신을 가속화할 수 있는가?

주요 결과

• 기본 모델은 뚜렷한 혈관이 보이는 영상들(예: Video001, Video002, Video007, Video008)에서 높은 평가 점수를 기록하며 고품질의 모자이킹을 달성했다.
• 중요한 가림 또는 심한 기울어진 태반 시야가 있는 시퀀스(예: Video008, Video013, Video019)에서는 혈관 구조에 의존하는 정렬이 실패했다.
• 낮은 무늬 또는 혈관이 없는 프레임에서는 정렬 방법이 무효화되어 일관되지 않거나 모자이킹이 실패했다.
• 혈관 기반 정렬로 개선되었음에도 불구하고, 영상의 변동성과 가시성 문제로 인해 완전히 강력하고 지속적인 모자이킹은 아직 해결되지 않은 과제이다.
• 이 데이터셋의 높은 수술 간 변동성은 모델의 일반화 능력에 큰 도전 과제를 제기하며, 더 강력하고 적응형 알고리즘이 필요함을 시사한다.
• FetReg 챌린지는 태아 영상 모자이킹 및 분할 분야의 최첨단 기술 발전을 위한 핵심 벤치마크를 제공하며, 임상적 영향력이 매우 높은 잠재력을 지닌다.