[论文解读] Automatic labeling of molecular biomarkers of whole slide immunohistochemistry images using fully convolutional networks

Fahime Sheikhzadeh, Martial Guillaud+1 more|arXiv (Cornell University)|Dec 30, 2016

AI in cancer detection参考文献 5被引用 9

一句话总结

本文提出一种基于全卷积网络（FCN）的深度学习方法，用于在全切片免疫组织化学（IHC）图像中自动定位并定量分析分子生物标志物。该模型在4,500张人工标注的细胞图像上进行训练，准确率达到92%，生成全切片的生物标志物图谱，与人工标注的真值相比，平均F1分数达到0.96，证明了在自动化IHC分析中具有高精度。

ABSTRACT

This paper addresses the problem of quantifying biomarkers in multi-stained tissues, based on color and spatial information. A deep learning based method that can automatically localize and quantify the cells expressing biomarker(s) in a whole slide image is proposed. The deep learning network is a fully convolutional network (FCN) whose input is the true RGB color image of a tissue and output is a map of the different biomarkers. The FCN relies on a convolutional neural network (CNN) that classifies each cell separately according to the biomarker it expresses. In this study, images of immunohistochemistry (IHC) stained slides were collected and used. More than 4,500 RGB images of cells were manually labeled based on the expressing biomarkers. The labeled cell images were used to train the CNN (obtaining an accuracy of 92% in a test set). The trained CNN is then extended to an FCN that generates a map of all biomarkers in the whole slide image acquired by the scanner (instead of classifying every cell image). To evaluate our method, we manually labeled all nuclei expressing different biomarkers in two whole slide images and used theses as the ground truth. Our proposed method for immunohistochemical analysis compares well with the manual labeling by humans (average F-score of 0.96).

研究动机与目标

• 解决多染色全切片IHC图像中生物标志物手动、耗时的定量分析挑战。
• 开发一种利用颜色和空间信息检测并定量生物标志物表达细胞的自动化方法。
• 将训练好的卷积神经网络（CNN）扩展为全卷积网络（FCN），以实现全切片生物标志物图谱生成。
• 在全切片图像上通过与人工标注的真值对比，评估模型性能。

提出的方法

• 在4,500张来自IHC染色切片的RGB细胞图像上训练全卷积网络（FCN），这些图像均经人工标注。
• 网络利用卷积神经网络（CNN）根据细胞所表达的生物标志物对每个细胞进行分类。
• 将训练好的CNN转换为FCN，以在整个全切片图像上生成连续的生物标志物概率图谱。
• 该方法依赖于原始RGB组织图像中的空间和颜色特征，以像素级分辨率预测生物标志物表达。
• FCN输出每个生物标志物的图谱，显示其在整个切片中表达的可能性。
• 通过将FCN预测结果与两张全切片图像中人工标注的细胞核进行对比，验证性能。

实验结果

研究问题

• RQ1 仅使用RGB输入，深度学习模型能否准确地在全切片IHC图像中定位并定量生物标志物表达细胞？
• RQ2 基于FCN的方法从图像块级别的细胞分类推广到全切片生物标志物图谱生成时，其泛化能力如何？
• RQ3 与专家人工标注相比，该自动化方法的性能如何？
• RQ4 IHC图像中的颜色和空间特征在多大程度上支持可靠的生物标志物检测？

主要发现

• 在4,500张人工标注的细胞图像组成的独立测试集中，CNN分类准确率达到92%。
• 与人工真值相比，基于FCN的方法在全切片上生成的生物标志物图谱平均F1分数达到0.96。
• 该方法成功地将图像块级别的细胞分类扩展到全切片推理，在保持高空间分辨率和准确性的同时实现。
• 模型在从单个细胞图像块到复杂组织结构的全切片图像中表现出强大的泛化能力。