[论文解读] EXACT: A collaboration toolset for algorithm-aided annotation of almost everything.

Christian Marzahl, Marc Aubreville+7 more|arXiv (Cornell University)|Apr 30, 2020

AI in cancer detection参考文献 16被引用 4

一句话总结

EXACT 是一个开源、协作式的平台，用于大规模图像数据的多学科标注，包括全切片图像和高容量图像序列。它集成了版本控制、基于插件的分析（例如深度学习、验证视图）以及算法支持，以简化医学病理学、生物声学等多样化领域中高质量、可复现的标注工作。

ABSTRACT

In many research areas scientific progress is accelerated by multidisciplinary access to image data and their interdisciplinary annotation. However, keeping track of these annotations to ensure a high-quality multi purpose data set is a challenging and labour intensive task. We developed the open-source online platform EXACT (EXpert Algorithm Cooperation Tool) that enables the collaborative interdisciplinary analysis of images from different domains online and offline. EXACT supports multi-gigapixel whole slide medical images, as well as image series with thousands of images. The software utilises a flexible plugin system that can be adapted to diverse applications such as counting mitotic figures with the screening mode, finding false annotations on a novel validation view, or using the latest deep learning image analysis technologies. This is combined with a version control system which makes it possible to keep track of changes in data sets and, for example, to link the results of deep learning experiments to specific data set versions. EXACT is freely available and has been applied successfully to a broad range of annotation tasks already, including highly diverse applications like deep learning supported cytology grading, interdisciplinary multi-centre whole slide image tumour annotation, and highly specialised whale sound spectroscopy clustering.

研究动机与目标

• 为解决跨学科研究团队在管理高质量、多用途标注图像数据集方面的挑战。
• 降低标注大规模图像（如全切片图像和图像序列）的工作强度和错误率。
• 将深度学习和算法验证集成到标注工作流中，以提高准确性和可复现性。
• 支持跨多个机构和领域的协作式、版本控制的标注。
• 提供一种灵活的开源平台，可适应从细胞学至生物声学等多样化科学应用。

提出的方法

• EXACT 采用基于网络的开源平台，具备插件架构，以支持多样化的标注与分析任务。
• 通过可扩展的渲染和数据处理技术，支持多吉像素级全切片图像和包含数千张图像的大型图像序列。
• 平台内置版本控制系统，用于追踪标注变更，并将其与特定数据集版本关联。
• 插件支持特定功能，如有丝分裂象计数、通过验证视图检测错误标注，以及集成深度学习模型。
• 系统支持离线与在线协作，确保团队和机构间的数据一致性与可复现性。
• 通过将模型输出与特定标注版本关联，支持与深度学习流水线的互操作性。

实验结果

研究问题

• RQ1 如何使跨学科团队在大规模科学图像上的协作标注实现可扩展性和可复现性？
• RQ2 算法辅助在提升标注准确性和减少人工工作量方面发挥何种作用？
• RQ3 如何有效将版本控制集成到图像标注工作流中，以确保数据溯源和可复现性？
• RQ4 插件架构在支持具有不同标注需求的多样化科学领域方面有哪些方式？
• RQ5 深度学习与验证工具的集成如何影响标注数据集的质量与一致性？

主要发现

• EXACT 成功支持对多吉像素级全切片图像和包含数千张图像的大型图像序列进行协作标注。
• 通过专用插件，平台实现了高精度标注，包括用于有丝分裂象计数的筛查模式和用于检测错误标注的验证视图。
• EXACT 中的版本控制使研究人员能够追踪标注变更，并将深度学习实验结果与特定数据集版本关联。
• 该系统已应用于多样化领域，包括支持深度学习的细胞学分级和病理学中的多中心肿瘤标注。
• EXACT 通过在复杂科学环境中实现一致、可复现且可扩展的标注工作流，促进了跨学科协作。
• 该平台的开源特性和插件架构已支持在高度专业化的应用中部署，如鲸鱼声音光谱聚类。