[论文解读] Learning Vector Quantized Shape Code for Amodal Blastomere Instance Segmentation

Won-Dong Jang, Donglai Wei+7 more|arXiv (Cornell University)|Dec 2, 2020

Reproductive Biology and Fertility被引用 4

一句话总结

该论文提出了一种新颖的胚泡形态实例分割方法，采用向量量化变分自编码器（VQ-VAE）从真实形态掩码中学习离散形状编码，提升了对遮挡的鲁棒性。通过将区域特征分类为这些形状编码并利用专用解码器进行优化，该方法在胚胎和自然图像基准测试中均实现了更优的分割精度，mAP和IoU指标均优于当前最先进方法。

ABSTRACT

Blastomere instance segmentation is important for analyzing embryos' abnormality. To measure the accurate shapes and sizes of blastomeres, their amodal segmentation is necessary. Amodal instance segmentation aims to recover the complete silhouette of an object even when the object is not fully visible. For each detected object, previous methods directly regress the target mask from input features. However, images of an object under different amounts of occlusion should have the same amodal mask output, which makes it harder to train the regression model. To alleviate the problem, we propose to classify input features into intermediate shape codes and recover complete object shapes from them. First, we pre-train the Vector Quantized Variational Autoencoder (VQ-VAE) model to learn these discrete shape codes from ground truth amodal masks. Then, we incorporate the VQ-VAE model into the amodal instance segmentation pipeline with an additional refinement module. We also detect an occlusion map to integrate occlusion information with a backbone feature. As such, our network faithfully detects bounding boxes of amodal objects. On an internal embryo cell image benchmark, the proposed method outperforms previous state-of-the-art methods. To show generalizability, we show segmentation results on the public KINS natural image benchmark. To examine the learned shape codes and model design choices, we perform ablation studies on a synthetic dataset of simple overlaid shapes. Our method would enable accurate measurement of blastomeres in in vitro fertilization (IVF) clinics, which potentially can increase IVF success rate.

研究动机与目标

• 为解决时间序列胚胎成像中准确的形态实例分割挑战，以支持体外受精（IVF）应用。
• 通过VQ-VAE学习离散形状先验，而非直接进行像素级掩码回归，以提升对遮挡的鲁棒性。
• 通过集成遮挡图预测分支，提升边界框质量和分割保真度。
• 证明该方法在胚胎细胞之外的自然场景中多种物体类别上的泛化能力。
• 实现对胚泡形状和对称性的自动化、高精度测量，有望提高IVF成功率。

提出的方法

• 在真实形态掩码上预训练VQ-VAE，以学习表示完整物体形状的离散嵌入空间。
• 将VQ-VAE集成到检测与分割流程中，以学习到的形状编码分类替代直接的掩码回归。
• 使用优化解码器从离散形状编码和低级特征中重建高分辨率形态掩码。
• 引入遮挡图预测分支，通过可见性信息引导模型，提升部分遮挡下的检测性能。
• 使用多任务损失联合训练整个网络，损失函数包括嵌入损失、遮挡损失和掩码重建损失。
• 在胚胎专用和通用基准（如KINS）上应用模型，以验证性能与泛化能力。

实验结果

研究问题

• RQ1 通过VQ-VAE学习到的离散形状编码是否能提升在不同遮挡水平下的形态实例分割鲁棒性？
• RQ2 将特征分类为形状编码是否在分割精度上优于直接回归形态掩码？
• RQ3 集成遮挡图分支在提升部分可见物体的边界框与掩码预测方面效果如何？
• RQ4 该方法在具有多样化物体形状的自然图像数据集上的泛化能力如何？
• RQ5 各组件（VQ-VAE、优化解码器、遮挡图）对整体性能的贡献分别是什么？

主要发现

• 在内部胚胎基准上，所提方法在形态分割精度上优于以往最先进方法。
• 在KINS自然图像基准上，该方法使用Mask R-CNN实现mAP为0.303，优于基线FCN（0.303 vs. 0.293），并达到与Mask R-CNN + ASN（0.315）相当的水平。
• 消融实验表明，所有组件——VQ-VAE、优化解码器和遮挡图——均不可或缺，移除任一组件均导致mAP从0.303下降至0.298和0.281。
• 在遮挡鲁棒性测试中，该方法实现IoU为0.968，显著优于FCN（0.935），且形状补全更清晰、更完整。
• 定性结果表明，即使在严重遮挡下，所提方法仍能可靠重建完整物体形状，而基线FCN在未见区域产生模糊、柔和的预测。
• 该方法成功分割了KINS中被遮挡的汽车，但部分失败案例源于非极大值抑制导致重叠边界框被移除。