[論文レビュー] Instance Segmentation of Unlabeled Modalities via Cyclic Segmentation GAN

Leander Lauenburg, Zudi Lin+7 more|arXiv (Cornell University)|Apr 6, 2022

Advanced Electron Microscopy Techniques and Applications被引用数 5

ひとこと要約

本稿では、サイクル整合性、自己教師付きセグメンテーション損失、データオーグメンテーションを統合することで、拡張顕微鏡（ExM）を含むラベルなしイメージングモダリティに対して、画像変換と3Dインスタンスセグメンテーションを統合的に実行する統一型の生成的対抗ネットワーク、CySGANを提案する。この手法は、事前学習モデルおよび逐次的変換・セグメンテーションパイプラインの両方を著しく上回り、新規に作成された高密度なExM核データセットにおいて、最良のベースライン比で5.7%の絶対的なAP-50向上を達成した。

ABSTRACT

Instance segmentation for unlabeled imaging modalities is a challenging but essential task as collecting expert annotation can be expensive and time-consuming. Existing works segment a new modality by either deploying a pre-trained model optimized on diverse training data or conducting domain translation and image segmentation as two independent steps. In this work, we propose a novel Cyclic Segmentation Generative Adversarial Network (CySGAN) that conducts image translation and instance segmentation jointly using a unified framework. Besides the CycleGAN losses for image translation and supervised losses for the annotated source domain, we introduce additional self-supervised and segmentation-based adversarial objectives to improve the model performance by leveraging unlabeled target domain images. We benchmark our approach on the task of 3D neuronal nuclei segmentation with annotated electron microscopy (EM) images and unlabeled expansion microscopy (ExM) data. Our CySGAN outperforms both pretrained generalist models and the baselines that sequentially conduct image translation and segmentation. Our implementation and the newly collected, densely annotated ExM nuclei dataset, named NucExM, are available at https://connectomics-bazaar.github.io/proj/CySGAN/index.html.

研究の動機と目的

• 拡張顕微鏡（ExM）のような新規に取得されたラベルなしイメージングモダリティにおける3Dインスタンスセグメンテーションの課題に取り組む。ここでは、熟練したアノテーションが高コストかつ時間のかかる課題である。
• 画像変換とセグメンテーションを別々の段階として処理する従来の手法の限界を克服する。これは、誤差の伝搬やタスク特化された最適化の欠如により性能が低下する要因となる。
• ラベルありソースドメインにおける教師あり損失と、ラベルなしターゲットドメインにおける自己教師付き・セグメンテーションベースの敵対的損失を用いて、画像変換とインスタンスセグメンテーションを同時に最適化する統一フレームワークを開発する。
• データオーグメンテーションの導入と、補正済み画像に対してサイクル整合性を強制することで、モデルの頑健性と一般化性能を向上させる。
• 未ラベルの3D ExM核データセット（NucExM）とコードベースを公開し、顕微鏡分野における教師なしドメイン適応の今後の研究を支援する。

提案手法

• ソース（EM）およびターゲット（ExM）ドメインの両方に対して、セグメンテーションマスクと変換済み画像を同時に予測する1つの3D U-Netを用いた、サイクルセグメンテーションGAN（CySGAN）を提案する。
• ペアデータが不要なドメイン変換を可能にするために、ソースと変換済みターゲット画像間のサイクル整合性を保証する標準的なCycleGAN損失を統合する。
• ラベルありソースドメイン（マスク付きのEM画像）に対して、教師ありクロスエントロピー損失とDice損失を適用し、正確なインスタンスセグメンテーションを促進する。
• 綺麗な画像と、変換および逆変換後の再構成画像の間の構造的整合性を強制する損失を導入する。これは、汚染またはノイズのある領域に対する正則化として機能する。
• 予測されたセグメンテーションマスクを活用して、変換済み画像の現実性を向上させ、ドメイン間の特徴の整合性を強化する、セグメンテーションベースの敵対的損失を追加する。
• トレーニング中にデータオーグメンテーションを適用し、オーグメント済み入力ではなく元の綺麗な画像に対して再構成画像のサイクル整合性を強制することで、頑健性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 逐次パイプラインと比較して、ラベルなしターゲットモダリティにおける性能向上を実現するため、画像変換とインスタンスセグメンテーションを統合的に最適化するフレームワークは有効か？
• RQ2 綺麗な画像に対する自己教師付きセグメンテーション損失とサイクル整合性は、3D顕微鏡における教師なしドメイン適応の一般化性能向上にどの程度有効か？
• RQ3 オーグメント済み入力ではなく再構成画像に対してサイクル整合性を強制することで、データ劣化の影響下でも性能と頑健性が向上するか？
• RQ4 実世界のラベルなし3D顕微鏡データにおいて、提案されたCySGANフレームワークは、事前学習モデルおよび2段階の変換・セグメンテーションベースラインをどの程度上回るか？

主な発見

• CySGANはNucExMデータセットで平均AP-50スコア0.931を達成し、2番目に優れた手法（CycleGAN + U3D-BCD, $I_X\rightarrow I_Y$）を5.7ポイント上回った。
• モデル最適化に使用された$V_1$ボリュームにおいて、データオーグメンテーションを削除するとAP-50が0.927から0.761に低下し、その重要性が示された。
• 半教師付きセグメンテーション損失を削除すると、$V_1$でAP-50が0.927から0.878に低下し、ラベルなしターゲットデータを有効に活用する上でその重要性が確認された。
• $I_X\rightarrow I_Y$の変換方向は、逐次ベースラインにおいて一貫して$I_Y\rightarrow I_X$を上回り、ソースからターゲットへの変換が、後続のセグメンテーションタスクにおいてより効果的であることが示唆された。
• 可視化比較では、CellposeとStarDistは偽陰性や境界のずれを生じるが、CySGANはより正確で分離性の高いインスタンスマスクを生成した。
• アブレーションスタディにより、データオーグメンテーションと半教師付き損失の両方が最適な性能を達成するために不可欠であることが確認され、いずれかを削除すると顕著な性能低下が生じた。