[論文レビュー] GAN based Unsupervised Segmentation: Should We Match the Exact Number of Objects

Quan Liu, Isabella Gaeta+3 more|arXiv (Cornell University)|Oct 22, 2020

Cell Image Analysis Techniques参考文献 20被引用数 4

ひとこと要約

本稿では、蛍光顕微鏡を用いた高密度に重なった細胞小器官である微絨毛の、GANベースの教師なしセグメンテーション手法を提案する。微小レベルのマッチング（ミニバッチ単位でのオブジェクト数の一致）を導入したが、マクロレベルのマッチング—特にガウスノイズ平滑化とノイズ増幅を組み合わせた手法—が優れたセグメンテーション性能を示し、定量的・定性的な両面で微小レベルマッチングを上回った（Diceスコア：0.6169 対 0.5730）。

ABSTRACT

The unsupervised segmentation is an increasingly popular topic in biomedical image analysis. The basic idea is to approach the supervised segmentation task as an unsupervised synthesis problem, where the intensity images can be transferred to the annotation domain using cycle-consistent adversarial learning. The previous studies have shown that the macro-level (global distribution level) matching on the number of the objects (e.g., cells, tissues, protrusions etc.) between two domains resulted in better segmentation performance. However, no prior studies have exploited whether the unsupervised segmentation performance would be further improved when matching the exact number of objects at micro-level (mini-batch level). In this paper, we propose a deep learning based unsupervised segmentation method for segmenting highly overlapped and dynamic sub-cellular microvilli. With this challenging task, both micro-level and macro-level matching strategies were evaluated. To match the number of objects at the micro-level, the novel fluorescence-based micro-level matching approach was presented. From the experimental results, the micro-level matching did not improve the segmentation performance, compared with the simpler macro-level matching.

研究の動機と目的

• 蛍光顕微鏡における細胞小器官の微絨毛に対して、初めての深層学習ベースの教師なしセグメンテーション手法を開発すること。
• 標準的なマクロレベル（グローバル分布）マッチングと比較して、微小レベル（ミニバッチレベル）のオブジェクト数マッチングがセグメンテーション性能を向上させるかどうかを調査すること。
• シミュレートされたマスクの教師なし学習における合成の質に与える影響を評価するため、データ増強戦略（平滑化、ノイズ、明るさ変動）の影響を検証すること。
• 蛍光画像のマルチチャネル特性を活用して、追加の人的アノテーションなしにオブジェクト数を自動的にカウントし、それをセグメンテーションに活用すること。

提案手法

• 実際の強度画像と微絨毛のシミュレーテッドバイナリマスクの間でサイクル整合性を持つ画像生成を実現するため、CycleGANを用いる。
• 各ミニバッチ内での微小レベルマッチングのため、実画像内の微小レベルオブジェクト数を自動的にカウントするために緑色蛍光チャネルを活用する。
• 専用のシミュレータを用いて、各ミニバッチごとに一致するオブジェクト数を持つシミュレーテッドマスクを生成し、微小レベルのペアリングを可能にする。
• 一般化性能を向上させるために、シミュレーテッドマスクにガウスノイズ平滑化、ランダムノイズ、明るさ変動といったデータ増強を適用する。
• 人為的アノテーションデータを一切使用せず、CycleGANによって生成されたデータのみを用いてU-Netセグメンテーションネットワークを学習する。
• 複数の真値マスク幅（w=1 から w=5）におけるDice類似係数を用いてセグメンテーション性能を評価し、最終的な予測は128×128ピクセルのパッチから再構成する。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチ単位でのオブジェクト数マッチング（微小レベル）が、標準的なマクロレベル（グローバル分布）マッチングと比較して、教師なしセグメンテーション性能を向上させるか？
• RQ2 蛍光顕微鏡のマルチチャネル特性を活用することで、追加のアノテーションなしに微小レベルペアリングのための正確なオートマチックオブジェクトカウントが可能か？
• RQ3 平滑化、ノイズ、明るさ変動といった異なるデータ増強戦略が、合成マスクの品質およびその後続のセグメンテーションに与える影響は？
• RQ4 未知のテストデータに一般化する際、マクロレベルマッチングは微小レベルマッチングよりもより頑健であるか？
• RQ5 教師なし微絨毛セグメンテーションにおいて、最適な増強戦略とマッチング戦略の組み合わせは何か？

主な発見

• ガウスノイズ平滑化とランダムノイズ増幅を組み合わせたマクロレベルマッチングが、幅w=5における最高のDiceスコア0.6169を達成し、すべての微小レベル設定を上回った。
• 微小レベルマッチングはセグメンテーション性能の向上をもたらさず、最高の微小レベル結果（Diceスコア0.5730）でさえ、最高のマクロレベル結果を下回った。
• マクロレベルペアリングデータで学習したU-Netは、微小レベルペアリングデータで学習したモデルよりも、新しいテストデータへの一般化性能が優れていた。
• 微小レベルペアリングは、より細かい一致により訓練セットの精度が高くなったが、一般化性能の向上にはつながらなかった。
• 教師なし細胞小器官セグメンテーションにおいて、標準的なマクロレベルマッチング戦略は微小レベルマッチングよりもより頑健で効果的である。
• シミュレーテッドマスクにガウスノイズ平滑化とランダムノイズを適用することで、全評価幅においてセグメンテーション性能が著しく向上した。