[論文レビュー] Towards deep learning-powered IVF: A large public benchmark for morphokinetic parameter prediction

Tristan Gomez, Magalie Feyeux+5 more|arXiv (Cornell University)|Mar 1, 2022

Reproductive Biology and Fertility被引用数 6

ひとこと要約

本論文は、16の詳細な形態動態段階にわたり、合計33.7万枚のアノテーション付き画像を含む、704本の時間分解能動画による大規模な公開ベンチマークを紹介している。ResNet、LSTM、ResNet-3Dアーキテクチャを用いて、動画に適したモデル（ResNet-LSTMおよびResNet-3D）が画像のみのモデルを著しく上回ることを示し、発達段階の遷移を65.9％の時間的正確性で予測した。これにより、体外受精（IVF）における再現可能でコミュニティ主導のディープラーニングが可能となる。

ABSTRACT

An important limitation to the development of Artificial Intelligence (AI)-based solutions for In Vitro Fertilization (IVF) is the absence of a public reference benchmark to train and evaluate deep learning (DL) models. In this work, we describe a fully annotated dataset of 704 videos of developing embryos, for a total of 337k images. We applied ResNet, LSTM, and ResNet-3D architectures to our dataset and demonstrate that they overperform algorithmic approaches to automatically annotate stage development phases. Altogether, we propose the first public benchmark that will allow the community to evaluate morphokinetic models. This is the first step towards deep learning-powered IVF. Of note, we propose highly detailed annotations with 16 different development phases, including early cell division phases, but also late cell divisions, phases after morulation, and very early phases, which have never been used before. We postulate that this original approach will help improve the overall performance of deep learning approaches on time-lapse videos of embryo development, ultimately benefiting infertile patients with improved clinical success rates (Code and data are available at https://gitlab.univ-nantes.fr/E144069X/bench_mk_pred.git).

研究の動機と目的

• 体外受精（IVF）におけるディープラーニングモデルの学習および評価のための、公開で大規模なベンチマークの不足に対処すること。
• 16の発達段階にわたり、高解像度で段階別に特徴付けられた形態動態ラベルが付与された、時間分解能胚動画の完全アノテーション付きデータセットを提供すること。
• 形態動態パラメータ予測のためのベースラインディープラーニングモデル（ResNet、LSTM、ResNet-3D）を確立し、性能比較と再現可能性を可能にすること。
• 研究コミュニティにデータとコードを公開することで、AI駆動のIVFにおける透明性と公平性を促進すること。
• 動画ベースのディープラーニングによる胚発達の時間的ダイナミクスを活用することで、IVFにおける臨床的予測精度を向上させること。

提案手法

• 著者らは、臨床的IVF環境から704本のヒト胚の時間分解能動画を収集・整備し、合計337,000枚の個々の画像を生成した。
• 各動画は、早期割れ目、モラウラ形成、ブリストルコスティック段階などを含む、16の正確な発達段階に手作業でアノテーションが付けられ、高い時間的分解能が確保された。
• 3つのディープラーニングアーキテクチャを訓練した：画像ベースのResNet、系列ベースのLSTM、3次元動画ベースのResNet-3D。これらは各画像の発達段階を分類するために用いられた。
• モデルの評価には3つの指標が用いられた：標準的正確度（p）、生物学的に妥当な正確度（p_v）、および時間的正確度。時間的正確度は、遷移の真のタイミングに対する予測の正確度を測定する。
• 過学習の低減と汎用性の向上を図るため、先行研究の単一分割検証と比較して、より堅牢な8分割交差検証が採用された。
• データセットはGitLab経由でコードと併せて公開され、再現可能性およびコミュニティベースのベンチマークに貢献した。

実験結果

リサーチクエスチョン

• RQ1 時間分解能胚動画の大規模で公開可能なベンチマークは、IVFにおけるディープラーニングモデルの再現性および評価を向上させることができるか？
• RQ2 動画に適したディープラーニングモデル（例：ResNet-3D、ResNet-LSTM）は、画像のみのモデル（例：ResNet）と比較して、形態動態段階の予測において優れているか？
• RQ3 ディープラーニングモデルは、胚発達の重要な遷移のタイミングを予測する際、どの程度高い時間的正確度を達成できるか？
• RQ4 先行研究で用いられた粗い分類スキームと比較して、16段階の詳細なアノテーションスキームはモデル性能を向上させるか？
• RQ5 提案されたベンチマークは、形態動態予測に加え、526本の動画が移植胚に対応していることから、将来的な予後予測モデルの構築にも寄与可能か？

主な発見

• ResNet-3Dが最も高い性能を示し、65.9％の時間的正確度を達成した。これは、65％以上のケースで発達段階の遷移タイミングを狭い時間窓内で正しく予測できたことを意味する。
• ResNet-LSTMは55.9％の時間的正確度を達成し、時間的文脈を欠いた画像のみのResNetモデルよりも顕著に優れていた。後者は時間的文脈の欠如により低い正確度にとどまった。
• ResNet-3Dの生物学的に妥当な正確度（p_v）は94.1％に達し、モデルの予測が正確であるだけでなく、発達の生物学的順序とも整合していることを示した。
• 16段階のアノテーションスキームにより、従来の研究で軽視されがちな段階（例：遅い割れ目、初期モラウラ）の正確な追跡が可能になった。
• 8分割交差検証と動画ベースのアーキテクチャ（ResNet-3D、ResNet-LSTM）の使用により、先行研究の単一分割評価と比較して、より堅牢で汎用性の高いモデルが得られた。
• ベンチマークは、https://gitlab.univ-nantes.fr/E144069X/bench_mk_pred.git にてコードとデータを含めて公開されており、再現可能な研究および将来的なモデル開発を可能にしている。