[論文レビュー] Learning Vector Quantized Shape Code for Amodal Blastomere Instance Segmentation

Won-Dong Jang, Donglai Wei+7 more|arXiv (Cornell University)|Dec 2, 2020

Reproductive Biology and Fertility被引用数 4

ひとこと要約

本論文は、胚細胞のアモーダルインスタンスセグメンテーションのための新規手法を提案する。ベクトル量子化変分オートエンコーダー（VQ-VAE）を用いて、アノテーション済みのアモーダルマスクから離散的形状コードを学習することで、遮蔽に対するロバスト性を向上させる。領域特徴をこれらの形状コードに分類し、専用のデコーダーで精練することで、胚および自然画像ベンチマークの両方で優れたセグメンテーション精度を達成し、mAPおよびIoU指標において最先端手法を上回る性能を示した。

ABSTRACT

Blastomere instance segmentation is important for analyzing embryos' abnormality. To measure the accurate shapes and sizes of blastomeres, their amodal segmentation is necessary. Amodal instance segmentation aims to recover the complete silhouette of an object even when the object is not fully visible. For each detected object, previous methods directly regress the target mask from input features. However, images of an object under different amounts of occlusion should have the same amodal mask output, which makes it harder to train the regression model. To alleviate the problem, we propose to classify input features into intermediate shape codes and recover complete object shapes from them. First, we pre-train the Vector Quantized Variational Autoencoder (VQ-VAE) model to learn these discrete shape codes from ground truth amodal masks. Then, we incorporate the VQ-VAE model into the amodal instance segmentation pipeline with an additional refinement module. We also detect an occlusion map to integrate occlusion information with a backbone feature. As such, our network faithfully detects bounding boxes of amodal objects. On an internal embryo cell image benchmark, the proposed method outperforms previous state-of-the-art methods. To show generalizability, we show segmentation results on the public KINS natural image benchmark. To examine the learned shape codes and model design choices, we perform ablation studies on a synthetic dataset of simple overlaid shapes. Our method would enable accurate measurement of blastomeres in in vitro fertilization (IVF) clinics, which potentially can increase IVF success rate.

研究の動機と目的

• タイムラプス胚画像における正確なアモーダルインスタンスセグメンテーションを、体外受精（IVF）応用において解決する。
• 直接ピクセルレベルのマスク回帰ではなく、VQ-VAEを用いて離散的形状事前分布を学習することで、遮蔽に対するロバスト性を向上させる。
• 可視性情報のガイドとしての遮蔽マップ予測ブランチを統合することで、部分的遮蔽下でのバウンディングボックス品質およびセグメンテーション忠実度を向上させる。
• 本手法の一般化能力を、胚細胞にとどまらず、自然シーンにおける多様なオブジェクトクラスへも適用可能であることを示す。
• 自動的かつ正確に胚細胞の形状と対称性を測定可能とし、IVF成功確率の向上に寄与することを目的とする。

提案手法

• アノテーション済みのアモーダルマスクを用いてVQ-VAEを事前学習し、完全なオブジェクト形状を表現する離散的埋め込み空間を学習する。
• VQ-VAEを検出およびセグメンテーションパイプラインに統合し、直接的なマスク回帰の代わりに、学習済みの形状コードへの分類を実施する。
• 離散的形状コードと低レベル特徴から、高解像度のアモーダルマスクを再構成するための精錬デコーダーを用いる。
• 遮蔽マップ予測ヘッドを統合し、可視性情報をモデルにガイドすることで、部分的遮蔽下での検出性能を向上させる。
• 埋め込み損失、遮蔽損失、マスク再構成損失を組み合わせたマルチタスク損失を用いて、ネットワーク全体を訓練する。
• 性能と一般化能力の妥当性を検証するため、胚専用および汎用ベンチマーク（例：KINS）の両方へモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 VQ-VAEを用いて学習した離散的形状コードは、変動する遮蔽レベル下でもアモーダルインスタンスセグメンテーションのロバスト性を向上させることができるか？
• RQ2 アノテーション済みマスクの直接回帰よりも、特徴を形状コードに分類することで、セグメンテーション精度が向上するか？
• RQ3 遮蔽マップブランチの統合は、部分的に見えないオブジェクトのバウンディングボックスおよびマスク予測性能をどの程度向上させるか？
• RQ4 本手法は、多様なオブジェクト形状を有する自然画像データセットへどの程度一般化可能か？
• RQ5 各構成要素（VQ-VAE、精錬デコーダー、遮蔽マップ）が全体の性能に果たす寄与度はどの程度か？

主な発見

• 内部の胚ベンチマークにおいて、本手法は以前の最先端手法を上回るアモーダルセグメンテーション精度を達成した。
• KINS自然画像ベンチマークにおいて、本手法はMask R-CNNを用いてmAP 0.303を達成し、ベースラインのFCN（0.303 vs. 0.293）を上回り、Mask R-CNN + ASN（0.315）と同等の性能を示した。
• アブレーションスタディの結果、VQ-VAE、精錬デコーダー、遮蔽マップのすべての構成要素が不可欠であることが確認され、いずれかを削除するとmAPは0.303から0.298および0.281に低下した。
• 遮蔽耐性テストでは、本手法がIoU 0.968を達成し、FCN（0.935）を顕著に上回り、より鋭く完全な形状補完が可能であった。
• 定性的な結果から、本手法は重度の遮蔽下でも完全なオブジェクト形状を信頼性高く再構成できる一方、ベースラインのFCNは未観測領域でぼやけた、曖昧な予測を生成していた。
• KINSにおける遮蔽された自動車のセグメンテーションにおいても、本手法は成功を収めたが、非最大抑制が重複するバウンディングボックスを除去するため、失敗事例も発生した。