[論文レビュー] FetReg: Placental Vessel Segmentation and Registration in Fetoscopy Challenge Dataset

Sophia Bano, Alessandro Casella+10 more|arXiv (Cornell University)|Jun 10, 2021

Prenatal Screening and Diagnostics被引用数 6

ひとこと要約

本論文は、TTTSレーザー手術における18例の多施設からなる大規模な内視鏡動画データセット「FetReg challenge」を紹介し、頑健な胎盤血管分離と動画モザイク作成の発展を目的としている。研究では、深層学習を用いた血管分離とピラミッド型ルーカス＝カナーデ登録を組み合わせたパイプラインを提案し、ドリフトのないモザイクを生成するが、現在の手法は変動性、遮蔽、低テクスチャ領域に対して依然として困難を抱えていることを示している。

ABSTRACT

Fetoscopy laser photocoagulation is a widely used procedure for the treatment of Twin-to-Twin Transfusion Syndrome (TTTS), that occur in mono-chorionic multiple pregnancies due to placental vascular anastomoses. This procedure is particularly challenging due to limited field of view, poor manoeuvrability of the fetoscope, poor visibility due to fluid turbidity, variability in light source, and unusual position of the placenta. This may lead to increased procedural time and incomplete ablation, resulting in persistent TTTS. Computer-assisted intervention may help overcome these challenges by expanding the fetoscopic field of view through video mosaicking and providing better visualization of the vessel network. However, the research and development in this domain remain limited due to unavailability of high-quality data to encode the intra- and inter-procedure variability. Through the \ extit{Fetoscopic Placental Vessel Segmentation and Registration (FetReg)} challenge, we present a large-scale multi-centre dataset for the development of generalized and robust semantic segmentation and video mosaicking algorithms for the fetal environment with a focus on creating drift-free mosaics from long duration fetoscopy videos. In this paper, we provide an overview of the FetReg dataset, challenge tasks, evaluation metrics and baseline methods for both segmentation and registration. Baseline methods results on the FetReg dataset shows that our dataset poses interesting challenges, offering large opportunity for the creation of novel methods and models through a community effort initiative guided by the FetReg challenge.

研究の動機と目的

• 胎児内視鏡における頑健なコンピュータ支援胎児手術システムの開発に向けた、高品質で多様なデータの不足に対処する。
• 視界不良、視野制限、器具の操作性の制限といった胎児内視鏡動画解析の課題を克服する。
• コミュニティ主導のチャレンジを通じて、一般化可能でドリフトのない動画モザイクおよび高精度な血管分離モデルの開発を可能にする。
• 実世界の胎児内視鏡動画シーケンスにおける分離および登録アルゴリズムの評価のための標準化ベンチマークを提供する。

提案手法

• 18例の高解像度胎児内視鏡動画シーケンスを、多施設のTTTSレーザー手術から収集し、血管分離マスクでアノテートした。
• 6分割交差検証を用いて、胎盤血管のセマンティック分離のための深層学習モデルを学習および評価した。
• ピラミッド型ルーカス＝カナーデオプティカルフローに基づく登録を用い、連続する血管分離マップを最小光度損失で整合させた。
• 内視鏡視野に制限するため、円形マスクを適用し、関連する画像領域のみを処理することを保証した。
• 連鎖則を用いて、登録済みフレームを順次合成し、1枚の広視野モザイクを生成した。
• 5フレームごとの間隔で、赤色（可視化済み）と青色（未確認）のフレームセグメントを比較する指標を用いて、モザイク性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの血管分離モデルは、照明、濁度、視点角度に著しい変動がある多様な胎児内視鏡動画シーケンスに一般化可能か？
• RQ2 血管に基づく光度損失を用いたピラミッド型ルーカス＝カナーデ登録は、長時間にわたる胎児内視鏡動画において、ドリフトのないモザイクをどの程度達成できるか？
• RQ3 遮蔽、低テクスチャ領域、平坦化した動脈路は、胎児内視鏡における動画モザイクパイプラインの頑健性にどのように影響するか？
• RQ4 現在の最先端の分離および登録手法は、実臨床の胎児内視鏡データに適用した際に、どのような主な失敗モードを示すか？
• RQ5 コミュニティ主導のチャレンジフレームワークは、大規模で実世界のデータを用いたコンピュータ支援胎児手術分野におけるイノベーションを加速できるか？

主な発見

• ベースライン手法は、明確に可視化された血管を持つ動画（例：Video001, Video002, Video007, Video008）では、高い評価スコアを示し、高品質なモザイクを達成した。
• 重度の遮蔽（例：Video008, Video013, Video019）や著しく歪んだ胎盤視点では、登録に失敗した。これは血管構造に依存しているためである。
• 低テクスチャまたは血管のないフレームでは、登録手法が無効となり、一貫性のないまたは失敗したモザイクが生じた。
• 血管ベースの登録による改善にもかかわらず、画像の変動性や可視性の問題のため、完全に頑健で連続的なモザイク作成は依然として未解決の課題である。
• このデータセットの高い手術間変動性は、モデルの一般化に大きな課題をもたらし、より頑健で適応可能なアルゴリズムの開発の必要性を浮き彫りにしている。
• FetRegチャレンジは、胎児動画モザイクおよび分離分野における最先端技術の発展に不可欠なベンチマークを提供しており、臨床的インパクトの可能性を強く秘めている。