[論文レビュー] NuClick: A Deep Learning Framework for Interactive Segmentation of Microscopy Images
NuClickは、ヒストロロジーおよびサイトロロジー画像における核、細胞、および腺のインタラクティブなセグメンテーションを、最小限のユーザー入力（単純な構造体では1クリック、複雑な構造体ではなぞり線）で行うディーブラーニングフレームワークです。最先端の性能を達成しており、NuClickで生成されたマスクで訓練されたモデルはLYON19コンテストで1位を獲得しています。
Object segmentation is an important step in the workflow of computational pathology. Deep learning based models generally require large amount of labeled data for precise and reliable prediction. However, collecting labeled data is expensive because it often requires expert knowledge, particularly in medical imaging domain where labels are the result of a time-consuming analysis made by one or more human experts. As nuclei, cells and glands are fundamental objects for downstream analysis in computational pathology/cytology, in this paper we propose a simple CNN-based approach to speed up collecting annotations for these objects which requires minimum interaction from the annotator. We show that for nuclei and cells in histology and cytology images, one click inside each object is enough for NuClick to yield a precise annotation. For multicellular structures such as glands, we propose a novel approach to provide the NuClick with a squiggle as a guiding signal, enabling it to segment the glandular boundaries. These supervisory signals are fed to the network as auxiliary inputs along with RGB channels. With detailed experiments, we show that NuClick is adaptable to the object scale, robust against variations in the user input, adaptable to new domains, and delivers reliable annotations. An instance segmentation model trained on masks generated by NuClick achieved the first rank in LYON19 challenge. As exemplar outputs of our framework, we are releasing two datasets: 1) a dataset of lymphocyte annotations within IHC images, and 2) a dataset of segmented WBCs in blood smear images.
研究の動機と目的
- ヒストパスロジー画像における核、細胞、および腺の高密度アノテーションに要する時間と作業負荷を低減すること。
- ユーザーのインタラクションを最小限に抑えつつ高い正確性を維持できる、強固なインタラクティブセグメンテーション手法を開発すること。
- 重なっている、または不規則な形状をとる構造体のような挑戦的なケースを含め、多様なデータセットおよび画像ドメインに一般化できること。
- ウェルスライドイメージングワークフローに実用的なアノテーションツールを提供し、その後続の完全教師あり学習を支援すること。
提案手法
- フレームワークは、RGB画像、インクルージョンマップ（クリック／なぞり線）、およびエクスクルージョンマップ（周囲領域）をマルチチャネル入力として使用するCNNベースのアーキテクチャを採用している。
- 核または細胞の内部に1回のクリックがインクリュージョン信号として使用され、複雑な多細胞構造体（例：腺）のセグメンテーションをガイドするためのフリーハンドなぞり線が用いられる。
- エクスクルージョンマップは、他のオブジェクトの近くでの予測を明示的に抑制することで、重なっている、または凝集した構造体の性能向上に寄与する。
- 予測されたセグメンテーションマスクに対してバイナリクロスエントロピー損失を用いて、モデルをエンドツーエンドで訓練する。
- ユーザーによる繰り返しの補正を可能にするために、ガイド信号（クリック／なぞり線）の変更を許容する。
- オブジェクトのスケールの変化に適応可能であり、ユーザー入力の不正確さに対しても頑健であるように設計されている。
実験結果
リサーチクエスチョン
- RQ1ディーブラーニングモデルは、1オブジェクトあたり1回のユーザークリックでのみ、ヒストロジー画像における核および細胞の正確なセグメンテーションを達成できるか？
- RQ2なぞり線ベースのガイド信号は、複雑で不規則な形状の腺の正確なセグメンテーションを可能にするか？
- RQ3不正確なクリックやなぞり線などのユーザー入力の変動に対して、フレームワークはどの程度頑健か？
- RQ4エクスクルージョンマップは、重なっている、または凝集したオブジェクトに対して性能を顕著に向上させるか？
- RQ5再トレーニングなしで、新しいデータセットおよび画像ドメインに一般化できるか？
主な発見
- NuClickはMoNuSegデータセットにおいて最先端の性能を達成し、平均ジャッカードインデックス（AJI）が0.834、Diceスコアが0.912を記録した。
- エクスクルージョンマップは極めて重要であった：これを除去すると、AJIは0.834から0.815に、Diceスコアは0.912から0.894に低下し、重なっている構造体の処理におけるその重要性が示された。
- モデルは、接触している核、ぼやけた赤血球、穴や不規則な形状をもつ腺といった挑戦的なケースを効果的にセグメンテーションした。
- NuClickは、高グレードのがん組織やIHC、末梢血塗めき画像など、クロスドメインの設定においても信頼性の高いアノテーションを生成した。
- NuClickで生成されたマスクで訓練されたインスタンスセグメンテーションモデルは、LYON19コンテストで1位を獲得した。
- フレームワークは強力な一般化性能を示し、ドメイン固有のファインチューニングなしで6つの多様なデータセットで良好な性能を発揮した。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。