[논문 리뷰] Towards deep learning-powered IVF: A large public benchmark for morphokinetic parameter prediction

Tristan Gomez, Magalie Feyeux외 5명|arXiv (Cornell University)|2022. 03. 01.

Reproductive Biology and Fertility인용 수 6

한 줄 요약

이 논문은 16개의 세밀한 형태학적 발달 단계를 포함한 704개의 시간 경과 영상으로 구성된 대규모 공개 벤치마크를 소개한다. 이는 총 337,000개의 레이블이 부여된 영상으로 이루어져 있으며, ResNet, LSTM, ResNet-3D 아키텍처를 사용하여 영상 인식 모델(ResNet-LSTM 및 ResNet-3D)이 이미지 전용 모델보다 유의하게 뛰어난 성능을 보이며, 발달 전이의 시간 정밀도를 65.9%로 달성함으로써, IVF 분야에서 재현 가능하고 공동 연구가 가능한 딥러닝 기반 접근법을 가능하게 한다.

ABSTRACT

An important limitation to the development of Artificial Intelligence (AI)-based solutions for In Vitro Fertilization (IVF) is the absence of a public reference benchmark to train and evaluate deep learning (DL) models. In this work, we describe a fully annotated dataset of 704 videos of developing embryos, for a total of 337k images. We applied ResNet, LSTM, and ResNet-3D architectures to our dataset and demonstrate that they overperform algorithmic approaches to automatically annotate stage development phases. Altogether, we propose the first public benchmark that will allow the community to evaluate morphokinetic models. This is the first step towards deep learning-powered IVF. Of note, we propose highly detailed annotations with 16 different development phases, including early cell division phases, but also late cell divisions, phases after morulation, and very early phases, which have never been used before. We postulate that this original approach will help improve the overall performance of deep learning approaches on time-lapse videos of embryo development, ultimately benefiting infertile patients with improved clinical success rates (Code and data are available at https://gitlab.univ-nantes.fr/E144069X/bench_mk_pred.git).

연구 동기 및 목표

• 딥러닝 모델의 훈련 및 평가를 위한 공개적이고 대규모의 벤치마크가 부족한 문제를 해결하기 위해.
• 16개의 발달 단계에 걸쳐 고해상도의 단계별 형태학적 레이블이 부여된 시간 경과 영상 태반 데이터셋을 완전히 레이블링하여 제공하기 위해.
• 형태학적 동역학 파rameter 예측을 위한 기준선 딥러닝 모델(ResNet, LSTM, ResNet-3D)을 수립하여 성능 비교 및 재현 가능성을 보장하기 위해.
• 연구 공동체에 데이터와 코드를 공개함으로써 AI 기반 IVF의 투명성과 공정성을 제고하기 위해.
• 영상 기반 딥러닝을 통해 태반 발달의 시간적 동역학을 활용하여 IVF의 임상 예측 정확도를 향상시키기 위해.

제안 방법

• 저자들은 임상 IVF 환경에서 704개의 인간 태반 시간 경과 영상을 수집하고 정제하여 총 337,000개의 개별 영상으로 구성하였다.
• 각 영상에는 조기 분열, 모룰라 형성, 블라스토시스트 단계 등 정밀한 발달 단계가 고시간 해상도로 수동으로 레이블링되었다.
• 세 가지 딥러닝 아키텍처를 훈련시켰다: 이미지 기반의 ResNet, 순서 기반의 LSTM, 3D 영상 기반의 ResNet-3D로, 각 영상의 발달 단계를 분류하였다.
• 모델 평가에는 표준 정확도(p), 생물학적으로 타당한 정확도(p_v), 그리고 전이의 진짜 시점에 비해 예측 정확도를 측정하는 시간 정밀도를 사용하였다.
• 과적합 방지를 위해 단일 분할 검증보다 더 우수한 일반화 능력을 확보하기 위해 8중 교차 검증을 적용하였다.
• GitLab 을 통한 코드 및 데이터 공개를 통해 재현 가능성과 공동 벤치마크 지원을 보장하였다.

실험 결과

연구 질문

• RQ1 시간 경과 영상 태반 데이터의 대규모 공개 벤치마크는 IVF 분야에서 딥러닝 모델의 재현 가능성과 평가를 향상시킬 수 있는가?
• RQ2 영상 인식 기반 딥러닝 모델(예: ResNet-3D, ResNet-LSTM)은 이미지 전용 모델(예: ResNet)보다 형태학적 단계 예측에서 더 우수한 성능을 보일 수 있는가?
• RQ3 딥러닝 모델이 핵심 태반 발달 전이의 시기 예측에서 얼마나 높은 시간 정밀도를 달성할 수 있는가?
• RQ4 이전 연구에서 사용된 더粗略한 분류 체계에 비해, 16단계 레이블 체계를 사용할 경우 모델 성능 향상이 이루어지는가?
• RQ5 제안된 벤치마크는 형태학적 예측 외에도, 526개의 영상가지 이식된 태반 영상 자료를 바탕으로 향후 결과 예측 모델 개발에도 기여할 수 있는가?

주요 결과

• ResNet-3D는 가장 높은 성능을 보이며, 65.9%의 시간 정밀도를 달성하여, 65% 이상의 경우에 발달 전이의 정확한 시기를 좁은 창 내에서 정확히 예측하였다.
• ResNet-LSTM는 55.9%의 시간 정밀도를 기록하여, 시간적 맥락이 부족한 이미지 전용 ResNet 모델보다 유의미하게 뛰어난 성능을 보였다.
• ResNet-3D의 생물학적으로 타당한 정확도(p_v)는 94.1%에 도달하여, 예측 결과가 뿐만 아니라 발달의 생물학적 순서와도 일치함을 시사하였다.
• 16단계 레이블 체계 덕분에 태반 발달의 정밀한 추적, 특히 이전에 미흡하게 다뤄졌던 후기 분열기 및 조기 모룰라 단계까지 포함하여 가능했다.
• 8중 교차 검증과 영상 기반 아키텍처(ResNet-3D, ResNet-LSTM)의 사용은 이전의 단일 분할 평가에 비해 더 견고하고 일반화 능력이 뛰어난 모델을 도출하였다.
• 이 벤치마크는 https://gitlab.univ-nantes.fr/E144069X/bench_mk_pred.git 에서 코드 및 데이터를 공개하여 재현 가능한 연구와 향후 모델 개발을 가능하게 하였다.