[논문 리뷰] Embryo Staging with Weakly-Supervised Region Selection and Dynamically-Decoded Predictions

Tingfung Lau, Nathan Ng외 4명|arXiv (Cornell University)|2019. 10. 28.

Reproductive Biology and Fertility인용 수 1

한 줄 요약

이 논문은 강화학습을 활용해 하류 분류 손실 기반으로 영역 제안을 최적화함으로써, 지도 학습이 필요한 바운딩 박스 정답이 없는 조건에서도 타임랩스 영상에서 배아를 국소화하는 동시에, 공동으로 훈련된 영역 제안 네트워크와 분류기와 함께 약한 지도 학습 방식을 제안한다. 또한 동적 프ogramming 기반 디코더를 적용하여 발달 단계의 단조성 있는 진행을 강제함으로써, 이전 방법에 비해 더 높은 정확도와 더 낮은 전이 오차를 기록하며, 더 작은 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

To optimize clinical outcomes, fertility clinics must strategically select which embryos to transfer. Common selection heuristics are formulas expressed in terms of the durations required to reach various developmental milestones, quantities historically annotated manually by experienced embryologists based on time-lapse EmbryoScope videos. We propose a new method for automatic embryo staging that exploits several sources of structure in this time-lapse data. First, noting that in each image the embryo occupies a small subregion, we jointly train a region proposal network with the downstream classifier to isolate the embryo. Notably, because we lack ground-truth bounding boxes, our we weakly supervise the region proposal network optimizing its parameters via reinforcement learning to improve the downstream classifier's loss. Moreover, noting that embryos reaching the blastocyst stage progress monotonically through earlier stages, we develop a dynamic-programming-based decoder that post-processes our predictions to select the most likely monotonic sequence of developmental stages. Our methods outperform vanilla residual networks and rival the best numbers in contemporary papers, as measured by both per-frame accuracy and transition prediction error, despite operating on smaller data than many.

연구 동기 및 목표

• 경험이 풍부한 배아학자들이 수작업으로 수행하는 데 의존도를 줄이기 위해, 타임랩스 EmbryoScope 영상에서의 자동화된 배아 단계 예측을 수행한다.
• 지침된 바운딩 박스가 없는 조건에서도 각 프레임 내에서 배아를 국소화하기 위해 약한 지도 학습을 활용한다.
• 동적 프로그래밍 기반 디코더를 활용해 예측 결과를 후처리함으로써 발달 단계의 단조적 진행을 강제한다.
• 특히 제한된 학습 데이터에서 배아 단계 분류의 예측 정확도를 향상시키고 전이 오차를 줄인다.

제안 방법

• 각 프레임에서 배아를 국소화하기 위해, 하류 분류기와 공동으로 훈련되는 영역 제안 네트워크를 사용하며, 분류 손실만을 지도로 활용한다.
• 영역 제안 네트워크는 강화학습을 통해 최적화되며, 정책의 행동(영역 제안)이 하류 분류기의 손실 기반으로 업데이트된다.
• 원시 예측 결과를 후처리하기 위해 동적 프로그래밍 기반 디코더를 사용하여 가장 가능성이 높은 단조적 발달 단계 시퀀스를 선택한다.
• 이 방법은 바운딩 박스 애너테이션을 요구하지 않으며, 분류 성능에서 유도된 약한 지도 학습에 기반해 국소화와 분류를 공동 최적화한다.
• 이 접근법은 구조적 사전 지식을 활용한다: 배아의 공간적 국소화와 단계 간의 단조적 진행

실험 결과

연구 질문

• RQ1 지침된 바운딩 박스가 없는 조건에서 타임랩스 영상에서의 배아 약한 지도 학습 기반 국소화가 하류 단계 예측 정확도를 향상시킬 수 있는가?
• RQ2 분류 손실만을 이용할 때 강화학습이 영역 제안을 얼마나 효과적으로 최적화할 수 있는가?
• RQ3 동적 디코딩을 통한 단조적 단계 진행 강제가 예측 신뢰도를 얼마나 향상시키는가?
• RQ4 이 방법은 완전한 지도 학습 기반 베이스라인에 비해 더 작은 데이터셋에서도 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 프레임 단위 정확도와 전이 예측 오차 모두에서 기존의 순수 잔차 네트워크를 능가한다.
• 더 작은 데이터셋에서 훈련되었음에도 불구하고, 최신 문헌에서 보고된 최고 성능과 견줄 만한 성능을 달성한다.
• 약한 지도 학습 기반 영역 제안 네트워크는 바운딩 박스 애너테이션 없이도 효과적으로 배아를 국소화한다.
• 동적 프로그래밍 기반 디코더는 단조적 단계 진행을 성공적으로 강제하여 일관성 없는 예측을 줄였다.