[論文レビュー] Nuclei Segmentation with Point Annotations from Pathology Images via Self-Supervised Learning and Co-Training

Yi Lin, Zhiyong Qu+7 more|PubMed|Feb 16, 2022

AI in cancer detection参考文献 64被引用数 4

ひとこと要約

本論文では、ボロノイ図とk-meansクラスタリングを用いて点アノテーションから粗いピクセルレベルのラベルを生成し、指数移動平均（EMA）を用いた疑似ラベル化による自己トレーニング戦略でそれを精緻化することで、わずかな点アノテーションのみで学習する弱教師あり核セグメンテーション手法を提案する。さらに、核に特化した自己教師ありカラーリゼーション手法を用いて特徴表現を強化する。本手法は、MoNuSegおよびCPMデータセットで最先端の性能を達成し、最小限のアノテーションコストで完全教師あり手法に匹敵する性能を発揮する。

ABSTRACT

Nuclei segmentation is a crucial task for whole slide image analysis in digital pathology. Generally, the segmentation performance of fully-supervised learning heavily depends on the amount and quality of the annotated data. However, it is time-consuming and expensive for professional pathologists to provide accurate pixel-level ground truth, while it is much easier to get coarse labels such as point annotations. In this paper, we propose a weakly-supervised learning method for nuclei segmentation that only requires point annotations for training. First, coarse pixel-level labels are derived from the point annotations based on the Voronoi diagram and the k-means clustering method to avoid overfitting. Second, a co-training strategy with an exponential moving average method is designed to refine the incomplete supervision of the coarse labels. Third, a self-supervised visual representation learning method is tailored for nuclei segmentation of pathology images that transforms the hematoxylin component images into the H&E stained images to gain better understanding of the relationship between the nuclei and cytoplasm. We comprehensively evaluate the proposed method using two public datasets. Both visual and quantitative results demonstrate the superiority of our method to the state-of-the-art methods, and its competitive performance compared to the fully-supervised methods. Codes are available at https://github.com/hust-linyi/SC-Net.

研究の動機と目的

• デジタル病理学におけるピクセルレベルの核セグメンテーションの高コストなアノテーション問題を、点アノテーションのみを活用することで解決すること。
• 高価で時間がかかるピクセルレベルのアノテーションへの依存を減らしつつ、高いセグメンテーション精度を維持すること。
• 疎な点ラベルからの弱教師あり情報の有効活用を可能にする、堅牢でエンドツーエンドのフレームワークの開発。
• H&E染色病理画像に特化した自己教師あり表現学習を統合することで、一般化性能と境界精度を向上させること。
• 段階的スケジューリングや反復的精緻化に伴う誤差蓄積を回避する、効率的でスケーラブルな訓練を可能にすること。

提案手法

• ボロノイ図とk-meansクラスタリングを用いて、空間的構造を保持しつつ過学習を回避する点アノテーションから粗いピクセルレベルのラベルを生成する。
• 同一のセグメンテーションネットワークを2つ用いた自己トレーニング戦略を採用し、指数移動平均（EMA）を用いた疑似ラベル化により、相互に予測を反復的に精緻化する。
• H成分画像をH&E染色画像に変換する自己教師あり学習モジュールを導入し、核染色の生物学的事前知識を活用して特徴表現を向上させる。
• セグメンテーションネットワークとカラーリゼーションネットワークをエンドツーエンドで同時に学習し、カラーリゼーションタスクがセグメンテーションネットワークの指導と検証を担う。
• 累積学習により、すべてのモジュールをワンショットの訓練パイプラインに統合し、手動のスケジューリングを排除し、訓練の複雑さを低減する。
• EMAに基づく疑似ラベル化メカニズムを組み込むことで、自己欺瞞を低減し、疑似ラベルの堅牢性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ピクセルレベルの真値ラベルを一切必要とせず、点アノテーションのみで核セグメンテーションの性能を著しく向上させることは可能か？
• RQ2 点アノテーションから導出される粗いラベルを、不正確さや欠損領域を低減するように効果的に精緻化できるか？
• RQ3 EMAに基づく疑似ラベル化を用いた自己トレーニングは、従来の段階的または制約付き精緻化戦略を上回る性能を発揮できるか？
• RQ4 H&E染色に特化した自己教師ありカラーリゼーションは、セグメンテーションの一般化性能をどの程度向上させるか？
• RQ5 提案手法は、完全教師ありモデルと同等の性能を達成しつつ、著しくアノテーション作業を削減できるか？

主な発見

• 提案手法はMoNuSegおよびCPMデータセットで最先端の性能を達成し、既存の弱教師ありおよび完全教師あり手法を上回る。
• 定量的評価では、MoNuSegでDiceスコア0.898、CPMで0.872を達成し、以前の最先端の弱教師ありアプローチを上回った。
• アブレーションスタディにより、自己トレーニングとEMA、自己教師ありカラーリゼーション、粗いラベル生成の各モジュールが性能向上に顕著な寄与をしていることが確認された。
• 点アノテーションのばらつきに対して本手法は頑健であることが示され、半自動または初級病理医によるアノテーションの実用的応用が可能であることを示している。
• エンドツーエンドでワンショットの訓練パイプラインにより、段階的スケジューリングの必要性がなくなり、誤差蓄積のリスクも低減された。
• 可視化結果から、特に重なっているか、接触している核領域において、ベースライン手法に比べてより正確で完全な核境界を生成していることが明らかになった。