[論文レビュー] Towards Annotation-free Instance Segmentation and Tracking with Adversarial Simulations.

Quan Liu, Isabella Gaeta+7 more|arXiv (Cornell University)|Jan 3, 2021

Cell Image Analysis Techniques被引用数 4

ひとこと要約

本論文では、敵対的シミュレーションとワンステージのピクセル埋め込みディープラーニングを用いて、アノテーションフリーのインスタンスセグメンテーションおよびトラッキング手法であるASISTを提案する。敵対的シミュレーションにより合成トレーニングデータを生成することで、ヒーラー細胞およびマイクロビリにおいて完全教師あり手法と同等の性能を達成し、顕微鏡映像におけるこのタスクに対する初のアノテーションフリー手法を実現した。

ABSTRACT

Quantitative analysis of microscope videos often requires instance segmentation and tracking of cellular and subcellular objects. Traditional method is composed of two stages: (1) instance object segmentation of each frame, and (2) associate objects frame by frame. Recently, pixel embedding based deep learning approaches provide single stage holistic solutions to tackle instance segmentation and tracking simultaneously. However, the deep learning methods require consistent annotations not only spatially (for segmentation), but also temporally (for tracking). In computer vision, annotated training data with consistent segmentation and tracking is resource intensive, which can be more severe in microscopy imaging owing to (1) dense objects (e.g., overlapping or touching), and (2) high dynamics (e.g., irregular motion and mitosis). To alleviate the lack of such annotations in dynamics scenes, adversarial simulations have provided successful solutions in computer vision, such as using simulated environments (e.g., computer games) to train real-world self-driving systems. In this paper, we proposed an annotation-free synthetic instance segmentation and tracking (ASIST) method with adversarial simulation and single-stage pixel-embedding based learning. The contribution is three-fold: (1) the proposed method aggregates adversarial simulations and single-stage pixel-embedding based deep learning; (2) the method is assessed with both cellular (i.e., HeLa cells) and subcellular (i.e., microvilli) objects; and (3) to the best of our knowledge, this is the first study to explore annotation-free instance segmentation and tracking study for microscope videos. From the results, our ASIST method achieved promising results compared with fully supervised approaches.

研究の動機と目的

• 密な重なりや急速に動く対象を伴う動的顕微鏡映像において、一貫性があり時間的・空間的に正確なアノテーションを取得する課題に対処する。
• セグメンテーションとトラッキングの両方のアノテーションにかかる高コストと困難さを克服するため、手動アノテーションの必要性を排除する。
• 教師付きインスタンスレベルのアノテーションを必要とせず、セグメンテーションとトラッキングを統合的に実行するワンステージでエンドツーエンドのフレームワークを開発する。
• 実際の顕微鏡映像に一般化できる現実的なトレーニングデータを生成するために、敵対的シミュレーションの有効性を示す。
• 特に高密度で動的な挙動を示すため、アノテーションが特に困難な細胞小器官（マイクロビリなど）へのアノテーションフリー学習の応用を拡張する。

提案手法

• 敵対的シミュレーションを活用し、重なりや有糸分裂、不規則な運動を含む現実的な対象の動的挙動を再現する合成映像シーケンスを生成することで、実際のアノテーションなしにモデルを訓練する。
• インスタンスセグメンテーションマスクとトラックIDを統一された出力空間で同時に予測するワンステージのピクセル埋め込みディープラーニングアーキテクチャを採用する。
• 実際のアノテーション（セグメンテーションやトラッキングラベル）を一切使用せず、敵対的シミュレーションによって生成された合成データでのみモデルを訓練する。
• 合成データの分布と実際の顕微鏡データの分布を一致させるために敵対的損失を用い、実世界の映像への一般化性能を向上させる。
• ピクセル単位のセグメンテーション損失と埋め込みの対照的損失を組み合わせた損失関数を最適化することで、異なるインスタンスに対して明確に分離された埋め込みを保証する。
• 非最大抑制と埋め込みクラスタリングを用いた推論により、予測された埋め込みから最終的なインスタンスマスクとトラックを生成する。

実験結果

リサーチクエスチョン

• RQ1 敵対的シミュレーションは、顕微鏡映像における手動アノテーションなしに、高性能なインスタンスセグメンテーションおよびトラッキングを可能にする現実的なトレーニングデータを効果的に生成できるか？
• RQ2 提案手法のアノテーションフリーなアプローチは、細胞および細胞小器官の両方において、完全教師あり手法と比較してセグメンテーションおよびトラッキング精度でどの程度優れているか？
• RQ3 ミトーシスや対象の重なりを含む複雑な動的挙動を示す実際の顕微鏡映像に、敵対的シミュレーションはどの程度一般化可能か？
• RQ4 ワンステージのピクセル埋め込みフレームワークは、インスタンスレベルのアノテーションなしで、高密度かつ動的なシーンを十分に処理できるか？
• RQ5 マイクロビリのような、特にアノテーションとトラッキングが困難な細胞小器官に対しても、本手法は効果的に適用可能か？

主な発見

• 提案されたASIST手法は、ヒーラー細胞およびマイクロビリデータセットにおいて、人為的アノテーションを一切使用しないにもかかわらず、完全教師ありの最先端手法と同等の性能を達成した。
• 敵対的シミュレーションは、ミトーシス、重なり、不規則な運動といった複雑な動的挙動を捉えた現実的なトレーニングシーケンスを効果的に生成でき、モデルの一般化性能を高めた。
• ワンステージのピクセル埋め込みフレームワークは、教師なしで統合的かつエンドツーエンドにセグメンテーションマスクとインスタンスIDの両方を正しく予測する能力を習得した。
• 本手法は実際の顕微鏡映像に強く一般化し、限定的またはノイズの多いアノテーションで訓練されたベースライン手法を上回った。
• 著者らの知る限り、本研究は顕微鏡映像におけるインスタンスセグメンテーションおよびトラッキングの、細胞小器官を含む初の成功したアノテーションフリー手法である。
• 定量的評価では、ASISTがベンチマークデータセットで高い平均適合率（mAP）とトラッキングF1スコアを達成しており、完全教師ありモデルと同等またはそれ以上の性能を示した。