[論文レビュー] Enhancing Nucleus Segmentation with HARU-Net: A Hybrid Attention Based Residual U-Blocks Network

Junzhou Chen, Qian Huang+3 more|arXiv (Cornell University)|Aug 7, 2023

AI in cancer detection被引用数 5

ひとこと要約

本稿では、ヒストパスロジー画像におけるインスタンスセグメンテーションの向上を目的として、同時に核の意味的セグメンテーションとホログラムマップを予測する二重ブランチ型でハイブリッドアテンションを組み込んだ残差Uブロックネットワーク、HARU-Netを提案する。新たなポストプロセッシング戦略による意味的特徴とホログラム特徴の統合に加え、コンテキスト統合ブロックを組み込むことで、BNS、MoNuSeg、CoNSeg、CPM-17の4つのデータセットにおいて最先端の性能を達成し、従来手法に比べてDiceスコアおよびPQスコアで顕著な向上を示した。

ABSTRACT

Nucleus image segmentation is a crucial step in the analysis, pathological diagnosis, and classification, which heavily relies on the quality of nucleus segmentation. However, the complexity of issues such as variations in nucleus size, blurred nucleus contours, uneven staining, cell clustering, and overlapping cells poses significant challenges. Current methods for nucleus segmentation primarily rely on nuclear morphology or contour-based approaches. Nuclear morphology-based methods exhibit limited generalization ability and struggle to effectively predict irregular-shaped nuclei, while contour-based extraction methods face challenges in accurately segmenting overlapping nuclei. To address the aforementioned issues, we propose a dual-branch network using hybrid attention based residual U-blocks for nucleus instance segmentation. The network simultaneously predicts target information and target contours. Additionally, we introduce a post-processing method that combines the target information and target contours to distinguish overlapping nuclei and generate an instance segmentation image. Within the network, we propose a context fusion block (CF-block) that effectively extracts and merges contextual information from the network. Extensive quantitative evaluations are conducted to assess the performance of our method. Experimental results demonstrate the superior performance of the proposed method compared to state-of-the-art approaches on the BNS, MoNuSeg, CoNSeg, and CPM-17 datasets.

研究の動機と目的

• H&E染色スライドにおける核のセグメンテーションの課題、例えば細胞の重なり、ぼやけたホログラム、染色のばらつきに対処すること。
• 二重ブランチネットワークアーキテクチャを用いて核の意味的特徴とホログラムを同時に予測することで、インスタンスセグメンテーションの精度を向上させること。
• マルチスケールのコンテキスト情報を統合するコンテキスト統合ブロックを導入することで、特徴表現を強化すること。
• 意味的特徴とホログラム予測を統合したポストプロセッシング手法を開発し、重なった核を解消すること。
• 複数のベンチマークデータセットにおいて、最先端の手法に比べ優れた性能を示すことを目的とする核インスタンスセグメンテーションの評価。

提案手法

• HARU-Netは、階層的特徴を捉え、勾配の流れを改善するための残差Uブロックを備えた二重ブランチ型エンコーダ-デコーダ構造を採用する。
• 複数のレイヤーにわたり、チャネルアテンションと空間アテンションを組み合わせたハイブリッドアテンション機構を適用し、関連する特徴を強調するとともにノイズを低減する。
• ネットワーク内の長距離コンテキスト表現を豊かにするために、コンテキストエンコーディング層を導入する。
• 異なるスケールからの特徴を重み付きで統合するためのコンテキスト統合（CF）ブロックを設計し、単純な連結処理に代えてより優れた特徴統合を実現する。
• ネットワークは2つの出力を並列に予測する：前景マスク（意味的セグメンテーション）と核のホログラムマップ（エッジ予測）。
• ポストプロセッシング戦略により、核の中心から領域を埋めることで、予測された意味的マップとホログラムマップを統合し、重なった核を効果的に分離する。

実験結果

リサーチクエスチョン

• RQ1 意味的特徴とホログラム特徴を同時に予測する二重ブランチネットワークは、単一タスクモデルに比べて核インスタンスセグメンテーションの精度を向上させることができるか？
• RQ2 ハイブリッドアテンション機構の統合は、核セグメンテーションタスクにおける特徴表現をどのように向上させるか？
• RQ3 コンテキスト統合ブロックは、複雑なヒストパスロジー画像において特徴学習とセグメンテーション性能をどの程度向上させるか？
• RQ4 提案されたポストプロセッシング手法は、意味的特徴とホログラム情報を統合することで、重なった核の解消にどの程度効果的か？
• RQ5 補助的なホログラム予測タスクは、特徴蒸留によって主な意味的セグメンテーションタスクの性能を向上させるか？

主な発見

• HARU-Netは、BNS、MoNuSeg、CoNSeg、CPM-17の4つの公開データセットにおいて最先端の性能を達成し、DiceスコアおよびPQスコアで顕著な向上を示した。
• アブレーションスタディの結果、単純な連結処理に比べ、コンテキスト統合ブロックの導入によりDiceスコア、PQスコア、F1スコアがそれぞれ0.7%、0.6%、0.9%向上した。
• 意味的マップとホログラムマップを統合したポストプロセッシングにより、PQスコアが5.8%向上し、インスタンスレベルの精度向上におけるその重要性が示された。
• すべてのレイヤー（最深部を除く）にハイブリッドアテンション機構を組み込むことで、DiceスコアおよびPQスコアがそれぞれ0.6%向上した。
• 補助的なホログラムタスクの導入により、主な意味的セグメンテーションタスクの性能が向上し、二重ブランチ間での有効な知識伝達が示された。
• 境界がよりぼやけたCoNSepデータセットでは、ポストプロセッシングにエロージョン処理を適用することで精度が向上した。これは、データセットに応じた適応の必要性を示している。