[论文解读] Embryo Staging with Weakly-Supervised Region Selection and Dynamically-Decoded Predictions

Tingfung Lau, Nathan Ng+4 more|arXiv (Cornell University)|Oct 28, 2019

Reproductive Biology and Fertility被引用 1

一句话总结

该论文提出了一种弱监督方法，用于在时间延迟能视频中自动进行胚胎分期，通过联合训练区域建议网络与分类器来定位胚胎，而无需真实边界框标注，并利用强化学习基于下游分类损失优化区域建议。此外，该方法采用动态规划解码器以强制实现阶段的单调进展，在较小数据集上实现了最先进的性能，相比之前的方法准确率更高，过渡错误更少。

ABSTRACT

To optimize clinical outcomes, fertility clinics must strategically select which embryos to transfer. Common selection heuristics are formulas expressed in terms of the durations required to reach various developmental milestones, quantities historically annotated manually by experienced embryologists based on time-lapse EmbryoScope videos. We propose a new method for automatic embryo staging that exploits several sources of structure in this time-lapse data. First, noting that in each image the embryo occupies a small subregion, we jointly train a region proposal network with the downstream classifier to isolate the embryo. Notably, because we lack ground-truth bounding boxes, our we weakly supervise the region proposal network optimizing its parameters via reinforcement learning to improve the downstream classifier's loss. Moreover, noting that embryos reaching the blastocyst stage progress monotonically through earlier stages, we develop a dynamic-programming-based decoder that post-processes our predictions to select the most likely monotonic sequence of developmental stages. Our methods outperform vanilla residual networks and rival the best numbers in contemporary papers, as measured by both per-frame accuracy and transition prediction error, despite operating on smaller data than many.

研究动机与目标

• 自动化时间延迟能EmbryoScope视频中的胚胎分期，减少对经验胚胎学家手动标注的依赖。
• 在无需真实边界框标注的情况下，定位每帧中的胚胎，利用弱监督。
• 通过基于动态规划的解码器后处理预测结果，强制实现发育阶段的单调进展。
• 提升胚胎阶段分类的预测准确率并减少过渡错误，尤其在训练数据有限的情况下。

提出的方法

• 通过仅使用分类损失作为监督信号，联合训练区域建议网络与下游分类器，以在每帧中定位胚胎。
• 区域建议网络通过强化学习进行优化，其中策略的动作（区域建议）根据下游分类器的损失进行更新。
• 基于动态规划的解码器对原始预测结果进行后处理，以选择最可能的单调发育阶段序列。
• 该方法在无需边界框标注的情况下，联合优化定位与分类任务，仅依赖于分类性能的弱监督。
• 该方法利用结构先验：胚胎的空间定位以及阶段的单调进展。

实验结果

研究问题

• RQ1 在无真实边界框标注的情况下，弱监督的胚胎在时间延迟能视频中的定位是否能提升下游分期的准确率？
• RQ2 当仅有分类损失可用时，强化学习在优化区域建议方面的有效性如何？
• RQ3 通过动态解码强制实现阶段单调进展，在多大程度上提升了预测的可靠性？
• RQ4 该方法在较小数据集上是否能实现与完全监督基线相当的性能？

主要发现

• 所提出的方法在帧级准确率和过渡预测误差方面均优于普通的残差网络。
• 尽管在较小数据集上进行训练，其性能仍可与当代文献中的最佳结果相媲美。
• 弱监督的区域建议网络在无需边界框标注的情况下，能有效定位胚胎。
• 基于动态规划的解码器成功实现了阶段的单调进展，减少了不一致的预测。