[論文レビュー] Deep Learning Models Delineates Multiple Nuclear Phenotypes in H&E Stained Histology Sections

Mina Khoshdeli, Bahram Parvin|arXiv (Cornell University)|Feb 13, 2018

AI in cancer detection参考文献 14被引用数 3

ひとこと要約

本論文は、ヘマトキシリン・エオシン染色された組織切片における多様な核の形態—特に空胞様および重なり合う核—を正確にセグメンテーションするため、領域ベースと境界ベースの畳み込みニューラルネットワーク（CNN）を統合する深層学習フレームワークを提案する。本手法は、乳癌および脳腫瘍の断層切片において高い精度でセグメンテーションを達成し、色分解と後処理を施した後、重なっている核の分離において63.2%の向上を示し、Fスコアは0.91を超えた。

ABSTRACT

Nuclear segmentation is an important step for profiling aberrant regions of histology sections. However, segmentation is a complex problem as a result of variations in nuclear geometry (e.g., size, shape), nuclear type (e.g., epithelial, fibroblast), and nuclear phenotypes (e.g., vesicular, aneuploidy). The problem is further complicated as a result of variations in sample preparation. It is shown and validated that fusion of very deep convolutional networks overcomes (i) complexities associated with multiple nuclear phenotypes, and (ii) separation of overlapping nuclei. The fusion relies on integrating of networks that learn region- and boundary-based representations. The system has been validated on a diverse set of nuclear phenotypes that correspond to the breast and brain histology sections.

研究の動機と目的

• 組織サンプルの調製における生物学的多様性と技術的ばらつきによるH&E染色組織スライドにおける核セグメンテーションの課題に対処すること。
• 特に空胞様および重なり合う核を含む複雑な核形態のセグメンテーションにおいて、従来の手法に見られる限界を克服すること。
• 大規模なヒストパスロジカル解析に適した、全スライド画像を処理可能な耐障害性と高スループット性を有するフレームワークの開発。
• 領域ベースと境界ベースの表現を統合するための統合CNNを用いて、セグメンテーションの正確性および重なっている核の分離性能を向上させること。

提案手法

• 領域ベースおよび境界ベースのセグメンテーションネットワークの両方のため、エンコーダ・デコーダ型のU-Netアーキテクチャ（ENet）を採用する。
• 領域ベースのネットワークを、画素単位のセグメンテーションを用いて、画素を前景（核）または背景に分類するように学習させる。
• 境界ベースのネットワークを、特に重なり領域における核間の知覚的境界を検出するように学習させる。
• 領域ベースおよび境界ベースのネットワークの出力を、空間的および境界表現を統合する能力を学習する第三のENetを用いて統合する。
• ヘマトキシリン染色領域を特定するため、色分解を適用し、入力の複雑さを低減するとともに、学習効率を向上させる。
• 統合ネットワークの推論後に残存する重なり合う核を解消するために、ウォーターシェッドセグメンテーションを用いた後処理を実施する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、H&E染色スライドにおいて、空胞様核やアネウロイド核を含む複数の核形態を同時に正確にセグメンテーションできるか？
• RQ2 領域ベースの手法に比べ、境界ベース表現が、重なり合っているまたは接触している核の分離においてどの程度性能を向上させるか？
• RQ3 領域ベースと境界ベースのCNNを統合することにより、単一ネットワークやグラフカットのような従来のセグメンテーション手法に比べ、精度および耐障害性において優れているか？
• RQ4 色分解は、多様なヒストパスロジカルサンプルにわたる核セグメンテーションモデルの性能および一般化能力にどのように影響を与えるか？

主な発見

• 統合ENetモデルはテストセットでFスコア0.91を達成し、単一ENet（Fスコア0.85）およびマルチリファレンスグラフカット（Fスコア0.79）を顕著に上回った。
• 重なり合う核の分離性能が63.2%（98個の接触核のうち62個が正しく分離）向上し、困難なケースにおいても優れた性能を示した。
• 色分解によりセグメンテーション性能が向上し、統合ENet＋CD＋ウォーターシェッド手法は、最高の精度（0.94）と再現率（0.88）を達成した。
• 1枚のGPU上で、サイズ約360×480の画像を1枚あたり約60msで処理でき、全スライド画像の高スループット解析が可能になった。
• 従来の手法で通常うまく処理されない困難な形態、例えば空胞様核や多形性が著しい核のセグメンテーションにも成功した。
• ウォーターシェッドセグメンテーションによる後処理により、残存する重なり合う核が解消され、高忠実度のセグメンテーションパイプラインが完成した。