[論文レビュー] ConCORDe-Net: Cell Count Regularized Convolutional Neural Network for Cell Detection in Multiplex Immunohistochemistry Images

Yeman Brhane Hagos, Priya Narayanan+3 more|arXiv (Cornell University)|Aug 1, 2019

AI in cancer detection参考文献 12被引用数 4

ひとこと要約

ConCORDe-Net は、乳がんのマルチプレックス免疫ヒストケミストリー（mIHC）全スライド画像における細胞検出および分類を目的とした新しい畳み込みニューラルネットワークである。細胞数損失関数とDiceオーバーラップ最適化を統合することで、密に配置された細胞や弱く染色された細胞の検出を向上させ、F1スコア 0.873、分類精度 96.5% を達成し、最先端手法を上回った。

ABSTRACT

In digital pathology, cell detection and classification are often prerequisites to quantify cell abundance and explore tissue spatial heterogeneity. However, these tasks are particularly challenging for multiplex immunohistochemistry (mIHC) images due to high levels of variability in staining, expression intensity, and inherent noise as a result of preprocessing artefacts. We proposed a deep learning method to detect and classify cells in mIHC whole-tumour slide images of breast cancer. Inspired by inception-v3, we developed Cell COunt RegularizeD Convolutional neural Network (ConCORDe-Net) which integrates conventional dice overlap and a new cell count loss function for optimizing cell detection, followed by a multi-stage convolutional neural network for cell classification. In total, 20447 cells, belonging to five cell classes were annotated by experts from 175 patches extracted from 6 whole-tumour mIHC images. These patches were randomly split into training, validation and testing sets. Using ConCORDe-Net, we obtained a cell detection F1 score of 0.873, which is the best score compared to three state of the art methods. In particular, ConCORDe-Net excels at detecting closely located and weakly stained cells compared to other methods. Incorporating cell count loss in the objective function regularizes the network to learn weak gradient boundaries and separate weakly stained cells from background artefacts. Moreover, cell classification accuracy of 96.5% was achieved. These results support that incorporating problem-specific knowledge such as cell count into deep learning-based cell detection architectures improve the robustness of the algorithm.

研究の動機と目的

• デジタル病理会診で一般的な、弱く染色されたおよび密に配置された細胞の検出という課題に対処すること。
• 特に細胞数という問題特有の知識を深層学習の目的関数に組み込むことで、mIHC における細胞検出のロバスト性を向上させること。
• mIHC 全スライド画像における同時的な細胞検出と多クラス分類のための統合フレームワークを開発すること。
• カーネルサイズや細胞サイズといった固定されたハイパーパrameter に依存しないようにすることで、多様な細胞形態に適応可能な検出を可能にすること。
• 特にマーカー強度が低いか、境界が重なっている細胞における微細な形態的・染色的変化の検出を向上させること。

提案手法

• ConCORDe-Net は Inception-v3 にインspired され、細胞検出のための特徴抽出と回帰を組み合わせたマルチステージアーキテクチャを採用している。
• ドットアノテーションから閾値を設定したユークリッド距離（r = 4 ピクセル）を用いて、細胞の擬似セグメンテーションマップを生成し、重複のない細胞領域を保証している。
• ネットワークは、Dice オーバーラップと、新しい細胞数損失関数を組み合わせたハイブリッド損失関数を採用しており、弱く染色された細胞や密に配置された細胞の検出を正則化している。
• 細胞カウンターモジュールは、最大プーリングを伴う 4 層の畳み込み層と、その後に続く 2 つの全結合層から構成され、パッチ内の総細胞数を回帰する。
• 細胞検出は、確率マップの閾値処理、その後に穴埋め処理と連結成分解析を施すことで、細胞中心を特定する。
• 2段階の分類パイプラインは、pSTAT および GAL8 の発現レベルに基づき 5 種類の細胞タイプを区別するための別々の分類器（classifier1 と classifier2）を用い、段階的な出力を通じて最終分類を達成する。

実験結果

リサーチクエスチョン

• RQ1 標準的な Dice に基づく損失関数と比較して、細胞数正則化損失関数を組み込むことで、mIHC 画像における弱く染色された細胞や密に配置された細胞の検出が向上するか？
• RQ2 問題特有の知識（細胞数）を統合することで、複雑なヒストパスロジー画像解析における深層学習モデルのロバスト性と一般化性能がどのように向上するか？
• RQ3 ConCORDe-Net は、MapDe や U-Net といった最先端手法に比べて、mIHC 画像における挑戦的な細胞表現型の検出でどの程度優れているか？
• RQ4 統合された検出と分類フレームワークは、マルチプレックスマーカーにおける微細な染色強度差に敏感な高精度な性能を維持できるか？
• RQ5 ドットアノテーションからの擬似セグメンテーションと細胞数損失の組み合わせにより、完全なインスタンスマスクを用いたエンドツーエンドのセグメンテーションよりも一般化性能が向上するか？

主な発見

• ConCORDe-Net はテストセットで F1 スコア 0.873 を達成し、MapDe（0.838）および U-Net（0.841）を上回り、最先端手法よりも高い再現率と F1 スコアを示した。
• 密に配置された細胞および弱く染色された GAL8+ pSTAT- 細胞の検出において、ConCORDe-Net は MapDe や U-Net が見逃した細胞を検出する優れた性能を示した。
• 細胞数損失関数の統合により、勾配が小さい境界や微細な染色強度差を示す細胞の検出が顕著に向上した。
• 2 つの分類器を段階的に組み合わせた結果、細胞分類精度は 96.5% に達し、すべての細胞タイプで classifier1 の AUC > 0.99、classifier2 の AUC > 0.97 を達成した。
• ConCORDe-Net の精度は他のモデルより低かったが、専門家や他の手法が見逃した弱く染色された細胞を検出したため、感度が高かった。
• 細胞カウンターモジュールは、密に配置された細胞を区別するパターンを学習し、ノイズの多い mIHC 画像における誤検出を減らすためにネットワークを効果的に正則化した。