[论文解读] A tool for user friendly, cloud based, whole slide image segmentation

Brendon Lutnick, David Manthey+1 more|arXiv (Cornell University)|Jan 18, 2021

AI in cancer detection参考文献 4被引用 4

一句话总结

本文提出了一种基于云的、用户友好的全切片图像（WSI）分割工具，采用最先进的卷积神经网络，并通过基于HistomicsTK构建的图形界面进行集成。该工具使非专家用户能够以高精度远程执行人机协同的WSI分割，其在肾组织切片中的肾小球分割中F-score > 0.97。

ABSTRACT

Convolutional neural networks, the state of the art for image segmentation, have been successfully applied to histology images by many computational researchers. However, the translatability of this technology to clinicians and biological researchers is limited due to the complex and undeveloped user interface of the code, as well as the extensive computer setup required. As an extension of our previous work (arXiv:1812.07509), we have developed a tool for segmentation of whole slide images (WSIs) with an easy to use graphical user interface. Our tool runs a state-of-the-art convolutional neural network for segmentation of WSIs in the cloud. Our plugin is built on the open source tool HistomicsTK by Kitware Inc. (Clifton Park, NY), which provides remote data management and viewing abilities for WSI datasets. The ability to access this tool over the internet will facilitate widespread use by computational non-experts. Users can easily upload slides to a server where our plugin is installed and perform human in the loop segmentation analysis remotely. This tool is open source, and has the ability to be adapted to segment of any pathological structure. For a proof of concept, we have trained it to segment glomeruli from renal tissue images, achieving an F-score > 0.97 on holdout tissue slides.

研究动机与目标

• 为解决基于深度学习的WSI分割工具在临床医生和生物学家中可移植性有限的问题，原因在于界面复杂且计算需求高。
• 开发一种基于云的、具有简单图形用户界面的交互式分割工具，供非专家用户使用。
• 通过基于Web的平台实现远程、人机协同的全切片图像分割。
• 通过在肾组织中肾小球的验证性案例，证明该工具对各种病理结构的适应能力。
• 提高最先进的WSI分割技术在生物医学研究中的可及性和可用性。

提出的方法

• 该工具作为HistomicsTK的一个插件构建，HistomicsTK是一个用于WSI管理与可视化的开源平台。
• 利用预训练的卷积神经网络对组织学图像进行语义分割。
• 所有处理均在云端完成，消除了用户对本地计算资源的需求。
• 用户通过Web界面上传WSI，系统使用深度学习模型执行推理。
• 该界面支持对分割结果进行实时交互式修正与优化。
• 系统设计具有可扩展性，支持针对任何病理结构的重新训练。

实验结果

研究问题

• RQ1 基于云的、用户友好的界面是否能够使非专业生物学家和临床医生实现高精度的WSI分割？
• RQ2 与现有深度学习方法相比，该工具在分割精度方面的表现如何？
• RQ3 该工具在肾小球以外的其他病理结构分割中，其适应能力达到何种程度？
• RQ4 远程、人机协同的交互方式对分割质量和可用性有何影响？
• RQ5 基于Web的平台是否能够消除WSI分析中对本地GPU基础设施的需求？

主要发现

• 在独立测试数据上，该工具在肾组织切片中对肾小球的分割F-score > 0.97，证明了其高精度的分割能力。
• 基于云的架构使用户无需本地GPU或复杂的软件配置即可执行分割。
• 与HistomicsTK的集成实现了WSI数据集的安全远程管理和可视化。
• 图形用户界面支持交互式分割，允许用户实时纠正和优化结果。
• 该工具为开源且可扩展，可适应多种病理结构的分割需求。
• 通过简化访问和直观交互，该系统使计算非专家用户能够广泛使用。