[論文レビュー] Unsupervised Dense Nuclei Detection and Segmentation with Prior Self-activation Map For Histology Images

Pingyi Chen, Chenglu Zhu+5 more|arXiv (Cornell University)|Oct 14, 2022

AI in cancer detection被引用数 4

ひとこと要約

本稿では、自己教師あり特徴から手動アノテーションを一切用いずに擬似マスクを生成するPrior Self-activation Module (PSM) を用いた、自己教師あり深層学習フレームワークを提案する。浅いネットワーク層からの勾配に基づく活性マップと、意味的ガイド付きジェネレータを活用することで、2つの公的病理画像データセットにおいて、アノテーションが存在しない状況でも、完全に教師ありおよび弱教師ありベースラインを上回る競争力のある性能を達成する。

ABSTRACT

The success of supervised deep learning models in medical image segmentation relies on detailed annotations. However, labor-intensive manual labeling is costly and inefficient, especially in dense object segmentation. To this end, we propose a self-supervised learning based approach with a Prior Self-activation Module (PSM) that generates self-activation maps from the input images to avoid labeling costs and further produce pseudo masks for the downstream task. To be specific, we firstly train a neural network using self-supervised learning and utilize the gradient information in the shallow layers of the network to generate self-activation maps. Afterwards, a semantic-guided generator is then introduced as a pipeline to transform visual representations from PSM to pixel-level semantic pseudo masks for downstream tasks. Furthermore, a two-stage training module, consisting of a nuclei detection network and a nuclei segmentation network, is adopted to achieve the final segmentation. Experimental results show the effectiveness on two public pathological datasets. Compared with other fully-supervised and weakly-supervised methods, our method can achieve competitive performance without any manual annotations.

研究の動機と目的

• ヒストオロジー画像における核の密集したセグメンテーションにおいて、手動アノテーションの高コストと非効率性を解決すること。
• ピクセルレベルまたはインスタンスレベルのアノテーションを一切必要としない自己教師ありフレームワークの開発。
• 自己教師ありネットワークの低レベル特徴を用いて、下流のセグメンテーションタスク用に信頼性の高い擬似マスクを生成すること。
• ホールスライド画像における密集した核のエンドツーエンドの自己教師あり検出およびセグメンテーションを可能にすること。

提案手法

• 自己教師ありネットワークの浅い層からの勾配情報を利用し、アノテーションなしで細胞レベルの構造に焦点を当てた自己活性マップを生成するPrior Self-activation Module (PSM) を提案。
• PSMが生成する特徴をピクセルレベルの擬似マスクに変換するための意味的ガイド付きジェネレータ (SGG) を導入。
• 2段階のトレーニングパイプラインを採用：インスタンス局所化のための核検出ネットワーク (NDN) と、ピクセル単位の密なセグメンテーションのための核セグメンテーションネットワーク (NSN)。
• 擬似マスク生成の前段階として、ラベルなしデータを用いた対照的学習（例：SimCLRスタイル）による自己教師あり事前学習により、強固な表現を学習。
• ハイパーパrameter λ で制御される、ピクセルレベルとオブジェクトレベルの両方の監視を統合したトレーニングを実施。
• アノテーションが存在しないにもかかわらず、浅い層からのクラス活性マップ（CAM）に類似した注目メカニズムを活用し、核の境界の局所化を強化。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありネットワークの浅い層からの自己活性マップは、手動アノテーションなしで自己教師あり核セグメンテーションの有効な擬似監視として機能するか？
• RQ2 アノテーションなしで、核のような小さな密集したオブジェクトに対して、提案されたPrior Self-activation Module (PSM) が意味のある活性パターンを生成できるか？
• RQ3 ピクセルレベルとオブジェクトレベルの両方の擬似マスクを用いた統合トレーニングは、本物のアノテーションが存在しない状況で、セグメンテーション性能をどの程度向上させるか？
• RQ4 提案されたフレームワークは、ヒストロロジー画像に限らず、網膜画像や細胞画像などの他の生物学的画像タイプにも一般化可能か？

主な発見

• 提案手法は、手動アノテーションを一切使用しないにもかかわらず、2つの公的病理画像データセットで、完全に教師ありおよび弱教師あり手法と同等の競争力ある性能を達成した。
• ピクセルレベルとオブジェクトレベルの両方の擬似マスクを統合したトレーニングにより、セグメンテーション指標が著しく向上し、IoUは、オブジェクトレベルを除いた場合の0.501から、λ=0.5のときの0.610に上昇した。
• ハイパーパrameter λ に対してモデルの性能が安定しており、λ の値が0.5から10の範囲で指標の変化が最小限に抑えられており、擬似マスクの重み付けの安定性が示された。
• Prior Self-activation Module (PSM) は、複雑なシナリオ、例えば網膜画像においても意味のある活性マップを生成でき、明確に視神経乳頭および視杯領域を強調した。
• 本手法は、胸部X線画像や細胞画像など、他の画像タイプに対しても一般化可能であるが、複数の顕著なオブジェクトを持つ自然画像では、注目領域の割り当てが曖昧になるため性能が低下した。
• 可視化結果から、PSMが核の境界や細胞小器官構造を効果的に強調していることが確認され、自己教師ありバイオメディカル画像解析の可能性を示した。