[논문 리뷰] Learning Vector Quantized Shape Code for Amodal Blastomere Instance Segmentation

Won-Dong Jang, Donglai Wei외 7명|arXiv (Cornell University)|2020. 12. 02.

Reproductive Biology and Fertility인용 수 4

한 줄 요약

이 논문은 타임랩스 배아 영상에서의 정확한 비모달 인스턴스 세그멘테이션 문제를 해결하기 위해, VQ-VAE를 사용하여 지정된 비모달 마스크에서 이산 형태 코드를 학습하는 새로운 비모달 인스턴스 세그멘테이션 방법을 제안한다. 이는 가림에 대한 강건성을 향상시킨다. 영역 특징을 이러한 형태 코드로 분류하고 전용 디코더를 통해 개선함으로써, 배아 및 자연 이미지 벤치마크에서 최고의 세그멘테이션 정확도를 달성하며, mAP 및 IoU 지표에서 최신 기술을 능가한다.

ABSTRACT

Blastomere instance segmentation is important for analyzing embryos' abnormality. To measure the accurate shapes and sizes of blastomeres, their amodal segmentation is necessary. Amodal instance segmentation aims to recover the complete silhouette of an object even when the object is not fully visible. For each detected object, previous methods directly regress the target mask from input features. However, images of an object under different amounts of occlusion should have the same amodal mask output, which makes it harder to train the regression model. To alleviate the problem, we propose to classify input features into intermediate shape codes and recover complete object shapes from them. First, we pre-train the Vector Quantized Variational Autoencoder (VQ-VAE) model to learn these discrete shape codes from ground truth amodal masks. Then, we incorporate the VQ-VAE model into the amodal instance segmentation pipeline with an additional refinement module. We also detect an occlusion map to integrate occlusion information with a backbone feature. As such, our network faithfully detects bounding boxes of amodal objects. On an internal embryo cell image benchmark, the proposed method outperforms previous state-of-the-art methods. To show generalizability, we show segmentation results on the public KINS natural image benchmark. To examine the learned shape codes and model design choices, we perform ablation studies on a synthetic dataset of simple overlaid shapes. Our method would enable accurate measurement of blastomeres in in vitro fertilization (IVF) clinics, which potentially can increase IVF success rate.

연구 동기 및 목표

• 시간 순서의 배아 영상에서 정확한 비모달 인스턴스 세그멘테이션을 해결하기 위해.
• 직접 픽셀 수준의 마스크 회귀 대신 VQ-VAE를 통해 이산 형태 사전을 학습하여 가림에 대한 강건성을 향상시키기 위해.
• 가시성 정보를 제공하는 가림 지ap 예측 브랜치를 통합하여 바운딩 박스 품질과 세그멘테이션 정밀도를 향상시키기 위해.
• 이 방법이 배아 세포를 넘어서 자연 환경의 다양한 물체 유형으로 일반화 가능한지를 입증하기 위해.
• 자동으로 정확한 배아 세포 형태와 대칭성을 측정할 수 있도록 하여, IVF 성공률 향상에 기여하기 위해.

제안 방법

• 지정된 비모달 마스크에 대해 VQ-VAE를 사전 학습하여 완전한 물체 형태를 나타내는 이산 임베딩 공간을 학습한다.
• VQ-VAE를 검출 및 세그멘테이션 파이프라인에 통합하여, 직접 마스크 회귀 대신 학습된 형태 코드로의 분류를 수행한다.
• 낮은 수준의 특징과 함께 이산 형태 코드에서 고해상도 비모달 마스크를 재구성하기 위해 개선 디코더를 사용한다.
• 가시성 정보를 제공하는 가림 지도 예측 헤드를 통합하여, 부분적으로 가려진 상황에서도 검출 성능을 향상시킨다.
• 임bed딩 손실, 가림 손실, 마스크 재구성 손실을 조합한 다중 작업 손실로 전체 네트워크를 훈련시킨다.
• 성능 및 일반화 능력을 검증하기 위해, 배아 전용 및 일반 목적의 벤치마크(예: KINS)에 모델을 적용한다.

실험 결과

연구 질문

• RQ1 VQ-VAE를 통해 학습된 이산 형태 코드가 다양한 가림 수준에서 비모달 인스턴스 세그멘테이션의 강건성을 향상시키는가?
• RQ2 비모달 마스크를 직접 회귀하는 것보다 형태 코드로 특징를 분류하는 것이 세그멘테이션 정확도 측면에서 우수한가?
• RQ3 가림 지도 브랜치의 통합이 부분적으로 가려진 물체의 바운딩 박스 및 마스크 예측 성능을 얼마나 향상시키는가?
• RQ4 제안된 방법이 다양한 물체 형태를 포함하는 자연 이미지 데이터셋으로의 일반화 능력은 어느 정도인가?
• RQ5 각 구성 요소(VQ-VAE, 개선 디코더, 가림 지도)가 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• 내부 배아 벤치마크에서 제안된 방법은 이전 최고 성능 기술을 능가하는 비모달 세그멘테이션 정확도를 달성한다.
• KINS 자연 이미지 벤치마크에서, 이 방법은 Mask R-CNN 기반으로 mAP 0.303를 기록하여 베이스라인 FCN(0.303 대비 0.293)을 초월하고, Mask R-CNN + ASN(0.315)과도 유사한 성능을 내며 경쟁력을 입증한다.
• 제거 실험 결과, VQ-VAE, 개선 디코더, 가림 지도 모두가 필수적임을 확인하였으며, 어느 하나라도 제거하면 mAP가 0.303에서 0.298 및 0.281로 감소한다.
• 가림 강건성 테스트에서 제안된 방법은 IoU 0.968을 달성하여 FCN(0.935)을 크게 앞서며, 더 선명하고 완전한 형태 복원을 보여준다.
• 정성적 결과에서는 제안된 방법이 심한 가림 조건에서도 전체 물체 형태를 신뢰성 있게 재구성하는 반면, 베이스라인 FCN는 미지 영역에서 흐릿하고 부드러운 예측을 생성한다.
• KINS에서 가려진 자동차도 성공적으로 세그멘테이션하였지만, 겹치는 바운딩 박스를 제거하기 위한 NMS로 인해 실패 케이스가 발생한다.