[論文レビュー] Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation

Florian Kromp, Lukas Fischer+6 more|arXiv (Cornell University)|Jul 30, 2019

Cell Image Analysis Techniques参考文献 31被引用数 11

ひとこと要約

本論文は、多様な組織種別および調製法を有する免疫蛍光顕微鏡画像において、エンドツーエンドのインスタンス認識核セグメンテーションを実現するため、最先端のディーブラーニングアーキテクチャ—U-Net、ResNet34バックボーンを搭載したU-Net、およびMask R-CNNを評価している。Mask R-CNNは、後処理を伴わず高い正確性と再現率を達成し、特に合成データ増強と一貫性のあるアノテーションを組み合わせることで顕著な性能を発揮した。

ABSTRACT

Separating and labeling each instance of a nucleus (instance-aware segmentation) is the key challenge in segmenting single cell nuclei on fluorescence microscopy images. Deep Neural Networks can learn the implicit transformation of a nuclear image into a probability map indicating the class membership of each pixel (nucleus or background), but the use of post-processing steps to turn the probability map into a labeled object mask is error-prone. This especially accounts for nuclear images of tissue sections and nuclear images across varying tissue preparations. In this work, we aim to evaluate the performance of state-of-the-art deep learning architectures to segment nuclei in fluorescence images of various tissue origins and sample preparation types without post-processing. We compare architectures that operate on pixel to pixel translation and an architecture that operates on object detection and subsequent locally applied segmentation. In addition, we propose a novel strategy to create artificial images to extend the training set. We evaluate the influence of ground truth annotation quality, image scale and segmentation complexity on segmentation performance. Results show that three out of four deep learning architectures (U-Net, U-Net with ResNet34 backbone, Mask R-CNN) can segment fluorescent nuclear images on most of the sample preparation types and tissue origins with satisfactory segmentation performance. Mask R-CNN, an architecture designed to address instance aware segmentation tasks, outperforms other architectures. Equal nuclear mean size, consistent nuclear annotations and the use of artificially generated images result in overall acceptable precision and recall across different tissues and sample preparation types.

研究の動機と目的

• 多様な組織由来および調製プロトコルを有する免疫蛍光顕微鏡画像における細胞核の正確でインスタンス認識型セグメンテーションの課題に取り組む。
• 生画像からラベル付きオブジェクトマスクを直接予測できるようにディーブラーニングモデルを訓練することで、誤りの多い後処理ステップを排除する。
• アノテーション品質、画像スケール、セグメンテーションの複雑さがモデルパフォーマンスに与える影響を調査する。
• 人工的画像生成を用いた新たなデータ増強戦略の開発と検証を行い、一般化性能およびモデルのロバスト性を向上させる。

提案手法

• ピクセル単位のセグメンテーションとインスタンス認識予測を目的とした、U-Net、ResNet34バックボーンを搭載したU-Net、およびMask R-CNNの3つのディーブラーニングアーキテクチャを訓練・比較した。
• トレーニングデータセットの拡張とモデルの一般化性能の向上を目的として、合成画像生成に基づく新規なデータ増強戦略を採用した。
• 多様な生物学的文脈におけるモデルのロバストネスを評価するために、複数の組織種別およびサンプル調製法から得た真値アノテーションを用いた。
• 後処理ステップを伴わず、正確な核境界と明確なインスタンスラベルを予測できる能力をモデルの評価に用いた。
• パフォーマンス評価のばらつきを低減するため、一貫性のある核サイズ正規化とアノテーション品質管理を実施した。
• 精度、再現率、および平均Dice係数などの指標を用いて、データセット全体におけるセグメンテーションパフォーマンスを定量的に評価した。

実験結果

リサーチクエスチョン

• RQ1 ディーブラーニングアーキテクチャは、多様な組織種別および調製法を有する免疫蛍光画像において、後処理を伴わず高精度でインスタンス認識型の核セグメンテーションを達成できるか？
• RQ2 真値アノテーションの品質は、異なるアーキテクチャ間でセグメンテーションパフォーマンスにどのように影響を与えるか？
• RQ3 画像スケールおよびセグメンテーションの複雑さは、核セグメンテーションにおけるディーブラーニングモデルの一般化性能にどの程度影響を与えるか？
• RQ4 人工的に生成されたトレーニング画像の使用は、未観測の組織調製法におけるモデルのロバスト性およびパフォーマンスを向上させるか？
• RQ5 U-Net、ResNet34を搭載したU-Net、およびMask R-CNNの中から、多様な生物学的サンプルにおいて最も一貫性があり正確な結果を提供するのはどれか？

主な発見

• Mask R-CNNは、すべての組織種別および調製法において最高のセグメンテーションパフォーマンスを達成し、U-NetおよびResNet34バックボーンを搭載したU-Netを上回った。
• 評価された4つのアーキテクチャのうち3つ（U-Net、ResNet34を搭載したU-Net、およびMask R-CNN）は、後処理ステップを伴わず満足のいくセグメンテーション結果を生成した。
• 核の平均サイズを均等化し、アノテーション品質を一貫させることで、多様なデータセット全体で精度と再現率が顕著に向上した。
• 人工的に生成された画像の使用は、特にデータ量が少ない状況や希少な組織種別において、モデルの一般化性能を向上させた。
• セグメンテーションパフォーマンスはアノテーション品質に極めて敏感であり、ノイズが多いまたは一貫性のないラベルはモデルの正確性を低下させた。
• 画像スケールおよびセグメンテーションの複雑さは、モデルパフォーマンスに顕著な影響を及ぼした。特に、U-Netベースのモデルは、高複雑性および大規模なスケール変動に対して苦戦した。