[论文解读] DeadNet: Identifying Phototoxicity from Label-free Microscopy Images of Cells using Deep ConvNets

David Richmond, Anna Payne-Tobin Jost+3 more|arXiv (Cornell University)|Jan 22, 2017

Cell Image Analysis Techniques参考文献 11被引用 10

一句话总结

本文提出 DeadNet，一种深度卷积神经网络（ConvNet），仅使用单张相位对比显微镜图像即可识别活细胞成像中的光毒性，无需荧光标记或先前的光毒性检测。该模型在不同光照暴露条件下 U2OS 细胞的标记相位对比图像上进行训练，检测光毒性的准确率达到 94.5%，展示了无需标记、自动化且可解释的实时成像工作流程中评估细胞健康状况的方法。

ABSTRACT

Exposure to intense illumination light is an unavoidable consequence of fluorescence microscopy, and poses a risk to the health of the sample in every live-cell fluorescence microscopy experiment. Furthermore, the possible side-effects of phototoxicity on the scientific conclusions that are drawn from an imaging experiment are often unaccounted for. Previously, controlling for phototoxicity in imaging experiments required additional labels and experiments, limiting its widespread application. Here we provide a proof-of-principle demonstration that the phototoxic effects of an imaging experiment can be identified directly from a single phase-contrast image using deep convolutional neural networks (ConvNets). This lays the groundwork for an automated tool for assessing cell health in a wide range of imaging experiments. Interpretability of such a method is crucial for its adoption. We take steps towards interpreting the classification mechanism of the trained ConvNet by visualizing salient features of images that contribute to accurate classification.

研究动机与目标

• 开发一种仅使用相位对比图像即可无标记、自动检测活细胞荧光显微镜中光毒性的方法。
• 克服现有光毒性评估方法的局限性，这些方法依赖荧光探针、实验后检测或主观视觉检查。
• 实现实时、客观且可重复的成像实验中细胞健康评估，以提高数据可靠性。
• 解释深度 ConvNet 的决策过程，以确保其预测结果具有可信度和生物学相关性。

提出的方法

• 在不同荧光照明强度下暴露的 U2OS 细胞的相位对比显微镜图像上训练深度卷积神经网络（ConvNet）。
• 使用透射光（相位对比）图像作为输入，该方法非侵入性，无需额外标记或光照暴露。
• 利用已知光照剂量下细胞的实验获取标注，为训练提供监督学习信号。
• 应用类激活映射（CAM）和基于梯度的显著性可视化，突出影响分类决策的图像区域。
• 采用基于优化的类别模型可视化方法，解释 ConvNet 为健康与病态细胞类别所学习的内部表征。
• 在两个数据集上评估模型性能：一个为高光毒性数据集（准确率 94.5%），另一个为更低、更具挑战性的光毒性数据集（准确率 75.7%）。

实验结果

研究问题

• RQ1 深度 ConvNet 是否能仅使用相位对比图像准确分类活细胞中的光毒性，而无需荧光标记或额外检测？
• RQ2 相位对比图像中的哪些形态学特征最能预测光毒性，且模型能否有意义地解释这些特征？
• RQ3 ConvNet 的内部表征如何与已知的光损伤生物学标志（如细胞圆化或空泡化）相对应？
• RQ4 显著性图和类别模型可视化等可解释性方法在多大程度上能揭示模型决策过程中具有生物学意义的特征？
• RQ5 模型性能是否与可解释性相关？能否设计出同时增强准确性和可解释性的网络架构？

主要发现

• DeadNet 在高剂量光毒性数据集上识别光毒性的分类准确率达到 94.5%，表明其在具有挑战性且具有生物学相关性的任务中表现强劲。
• 在更具挑战性的低剂量光毒性数据集中，模型准确率达到 75.7%，尽管表型变化细微，但与专家水平的人类表现相当。
• 显著性图显示，模型关注的生物相关特征包括：健康图像中的核仁、大空泡、有丝分裂细胞，以及病态图像中的收缩纤维、暗色细胞边界和圆化形态。
• 类别模型可视化表明，网络能从噪声中生成合理的细胞样结构，其中健康类别建模中出现类似核仁的特征，而病态类别建模中则呈现杂乱模式。
• 可解释性与性能独立变化，部分高性能模型产生高度可解释的可视化，而另一些则不然，表明准确率与可解释性之间可能存在权衡或正交关系。
• 本研究凸显了以可解释性为导向的模型设计在生物医学深度学习中的潜力，其中生物学合理性与模型透明度对于科学采纳至关重要。