[論文レビュー] BriFiSeg: a deep learning-based method for semantic and instance segmentation of nuclei in brightfield images

Gendarme Mathieu, Lambert Annika M.+1 more|arXiv (Cornell University)|Nov 6, 2022

Cell Image Analysis Techniques被引用数 4

ひとこと要約

BriFiSeg は、事前学習済みエンコーダーを備えた U-Net ベースのアーキテクチャを用いて、染色されていない明field顕微鏡画像における核の正確なセマンティックおよびインスタンスセグメンテーションを可能にするディーブラーニングフレームワークです。免疫ヒストケミカル染色や特別なサンプル調製を必要とせず、さまざまな生物学的状況、例えば薬剤処理済み細胞線においても頑健な性能を発揮します。

ABSTRACT

Generally, microscopy image analysis in biology relies on the segmentation of individual nuclei, using a dedicated stained image, to identify individual cells. However stained nuclei have drawbacks like the need for sample preparation, and specific equipment on the microscope but most importantly, and as it is in most cases, the nuclear stain is not relevant to the biological questions of interest but is solely used for the segmentation task. In this study, we used non-stained brightfield images for nuclei segmentation with the advantage that they can be acquired on any microscope from both live or fixed samples and do not necessitate specific sample preparation. Nuclei semantic segmentation from brightfield images was obtained, on four distinct cell lines with U-Net-based architectures. We tested systematically deep pre-trained encoders to identify the best performing in combination with the different neural network architectures used. Additionally, two distinct and effective strategies were employed for instance segmentation, followed by thorough instance evaluation. We obtained effective semantic and instance segmentation of nuclei in brightfield images from standard test sets as well as from very diverse biological contexts triggered upon treatment with various small molecule inhibitor. The code used in this study was made public to allow further use by the community.

研究の動機と目的

• 核染色に依存しない明field顕微鏡画像における核セグメンテーション手法の開発を目的とする。
• 細胞セグメンテーションタスクにおいて、特別なサンプル調製や免疫ヒストケミカル染色の必要性を排除することを目的とする。
• 標準的な明field顕微鏡を用いて、生体または固定サンプルにおけるセグメンテーションを可能とすることを目的とする。
• U-Net アーキテクチャと組み合わせた事前学習済みエンコーダーの性能が、核セグメンテーションに与える影響を評価することを目的とする。
• さまざまな生物学的文脈に応用可能な、公開可能な汎用的ソリューションを提供することを目的とする。

提案手法

• 明field画像における核のセマンティックセグメンテーションに、U-Net ベースのディーブラーニングニューラルネットワークアーキテクチャを活用する。
• 特徴抽出とモデルの一般化性能を向上させるために、事前学習済みエンコーダー（例：ResNet、EfficientNet）を採用する。
• 重なったり凝集していたりする領域からの個々の核の分離を可能にする2つの異なるインスタンスセグメンテーション戦略を適用する。
• セグメンテーションヘッドとの最適な組み合わせを同定するために、さまざまなエンコーダー構造を体系的に評価する。
• 4つの異なる細胞線において、モデルをトレーニングおよび検証する。処理済み細胞線（小分子阻害剤処理）も含む。
• コミュニティの採用とさらなる開発を支援するため、ソースコードを公開する。

実験結果

リサーチクエスチョン

• RQ1 ディーブラーニングモデルは、核染色に依存せずに、染色されていない明field画像における核セグメンテーションを正確に実現できるか？
• RQ2 事前学習済みエンコーダーは、明field顕微鏡における U-Net ベースのセグメンテーションモデルの性能にどのように影響を与えるか？
• RQ3 明field画像における密集または重なっている核領域におけるインスタンスセグメンテーションに、最も効果的な戦略は何か？
• RQ4 この手法は、薬剤処理済みサンプルを含む多様な生物学的状況に一般化可能か？
• RQ5 BriFiSeg の性能は、従来の染色依存型セグメンテーション手法と比較して、正確性および頑健性の面で優れているか？

主な発見

• BriFiSeg は、4つの異なる細胞線において、明field画像における核の効果的なセマンティックおよびインスタンスセグメンテーションを達成した。
• この手法は、標準的なテストセットおよび生物学的に多様な文脈（小分子阻害剤処理サンプルを含む）においても、頑健な性能を示した。
• 事前学習済みエンコーダーは、U-Net アーキテクチャと組み合わせることで、セグメンテーション性能を顕著に向上させた。
• 2つの異なるインスタンスセグメンテーション戦略が有効であることが判明し、個々の核の正確な分離が可能になった。
• フレームワークは、生体および固定サンプルの両方に対応可能であり、特別な染色やサンプル調製を一切必要としない。
• コードベースは公開されており、研究コミュニティにおける再現性と広範な採用を促進している。