[论文解读] MONAI Label: A framework for AI-assisted Interactive Labeling of 3D Medical Images

Andres Diaz‐Pinto, Sachidanand Alle+15 more|arXiv (Cornell University)|Mar 23, 2022

Radiomics and Machine Learning in Medical Imaging参考文献 42被引用 41

一句话总结

MONAI Label 是一个开源框架，能够对3D医学图像进行AI辅助的交互式和非交互式标注，具有 DeepGrow、DeepEdit、基于涂写的方法、主动学习，以及 GUI 集成（3D Slicer、OHIF）。

ABSTRACT

The lack of annotated datasets is a major bottleneck for training new task-specific supervised machine learning models, considering that manual annotation is extremely expensive and time-consuming. To address this problem, we present MONAI Label, a free and open-source framework that facilitates the development of applications based on artificial intelligence (AI) models that aim at reducing the time required to annotate radiology datasets. Through MONAI Label, researchers can develop AI annotation applications focusing on their domain of expertise. It allows researchers to readily deploy their apps as services, which can be made available to clinicians via their preferred user interface. Currently, MONAI Label readily supports locally installed (3D Slicer) and web-based (OHIF) frontends and offers two active learning strategies to facilitate and speed up the training of segmentation algorithms. MONAI Label allows researchers to make incremental improvements to their AI-based annotation application by making them available to other researchers and clinicians alike. Additionally, MONAI Label provides sample AI-based interactive and non-interactive labeling applications, that can be used directly off the shelf, as plug-and-play to any given dataset. Significant reduced annotation times using the interactive model can be observed on two public datasets.

研究动机与目标

• 通过实现 AI 辅助、高效的标注工作流，解决专家标注稀缺的瓶颈。
• 提供开放、模块化的 SDK，用于开发和部署用于临床评估的标注应用。
• 提供与标准 UI 前端集成的交互式和非交互式分割方法。
• 结合主动学习，优先对不确定或信息量大的样本进行标注。
• 通过 RESTful 服务器和 DICOMWeb 兼容性，促进数据管理与部署。

提出的方法

• 提供三个高层次的 MONAI Label 模块：用于注释和模型的客户端、服务器和数据存储。
• 包含交互式注释模型（DeepGrow、DeepEdit）和基于涂写的分割方法，以及一个非交互式的自动分割选项。
• 实现带不确定性估计的主动学习循环（通过 dropout 的表观不确定性，以及通过 TTA 的可选本体不确定性），以及用于对未标记体积进行排序的常见获取函数。
• 支持 GUI 集成（3D Slicer、OHIF）和 DICOMWeb 通信（WADO-RS、STOW-RS、QIDO-RS）。
• 通过继承 MONAILabelApp、定义推理、训练、数据选择和自定义变换，提供开发应用的框架。

实验结果

研究问题

• RQ1 在保持或提高分割精度的同时，AI 辅助的交互式标注如何降低 3D 医学图像的人工标注时间？
• RQ2 主动学习策略对 MONAI Label 的标注效率和模型性能有何影响？
• RQ3 如何将 MONAI Label 与不同前端（3D Slicer、OHIF）实例化，并与基于 DICOM 的工作流集成？
• RQ4 在本框架内，DeepGrow、DeepEdit 和基于涂写的方法的优点与局限性是什么？

主要发现

• 与传统工具相比，交互式的 DeepGrow 和基于涂写的方法在脾脏分割任务中显著减少了标注时间。
• DeepGrow (2D+3D) 在后期阶段每个 3D 体积可实现 1–2.5 分钟标注，相较于轮廓基方法的性能最快可达到约 10 倍。
• 基于涂写的在线似然分割显著减少人工标注工作量，平均每个样本约 2 分钟，相较于画笔或轮廓方法。
• DeepEdit 支持持续训练和交互式细化，使从业者在仅标注子集体积后就能开始基于模型的标注，显著加速工作流。
• 在 MSD 数据集上的实验显示节省时间且 Dice 分数具有竞争力；应用包括 telestroke 脑出血标注和神经外科脑图谱开发。