[论文解读] A Weakly Supervised Region-Based Active Learning Method for COVID-19 Segmentation in CT Images

Issam Laradji, Pau Rodríguez+6 more|arXiv (Cornell University)|Jul 7, 2020

COVID-19 diagnosis using AI参考文献 57被引用 17

一句话总结

本文提出了一种弱监督、基于区域的主动学习框架，用于高效地在CT扫描中进行COVID-19肺部感染分割。通过选择高熵图像区域进行点级标注——每区域仅需3秒——该方法仅用7%的标注工作量，便实现了全监督Dice分数的约90%，显著提升了传统全图逐像素标注方式的成本效率。

ABSTRACT

One of the key challenges in the battle against the Coronavirus (COVID-19) pandemic is to detect and quantify the severity of the disease in a timely manner. Computed tomographies (CT) of the lungs are effective for assessing the state of the infection. Unfortunately, labeling CT scans can take a lot of time and effort, with up to 150 minutes per scan. We address this challenge introducing a scalable, fast, and accurate active learning system that accelerates the labeling of CT scan images. Conventionally, active learning methods require the labelers to annotate whole images with full supervision, but that can lead to wasted efforts as many of the annotations could be redundant. Thus, our system presents the annotator with unlabeled regions that promise high information content and low annotation cost. Further, the system allows annotators to label regions using point-level supervision, which is much cheaper to acquire than per-pixel annotations. Our experiments on open-source COVID-19 datasets show that using an entropy-based method to rank unlabeled regions yields to significantly better results than random labeling of these regions. Also, we show that labeling small regions of images is more efficient than labeling whole images. Finally, we show that with only 7\% of the labeling effort required to label the whole training set gives us around 90\% of the performance obtained by training the model on the fully annotated training set. Code is available at: \url{https://github.com/IssamLaradji/covid19_active_learning}.

研究动机与目标

• 为降低标注CT扫描进行COVID-19肺部感染分割所带来的高昂成本，该任务每张扫描图的标注时间可达150分钟。
• 通过从全图逐像素标注转向基于区域的标注与点级监督，提升标注效率。
• 通过基于模型不确定性（熵）选择最具信息量的图像区域进行标注，加速模型训练。
• 证明通过点标注实现的弱监督可在大幅降低标注成本的前提下，达到与全监督相当的高性能。
• 验证基于区域的主动学习结合基于熵的区域选择，在性能和标注效率方面均优于随机区域选择和全图标注。

提出的方法

• 该方法将每张CT图像划分为固定大小的矩形区域（例如每张图像64个区域），以支持局部标注。
• 利用马尔可夫链蒙特卡洛（MCMC）采样估算每个区域上模型预测的熵，识别出最不确定（信息量丰富）的区域用于标注。
• 标注人员仅需对选定的高熵区域进行点级标注——在感染区域或背景区域中点击单个点——将每区域的标注时间减少至约3秒。
• 在每次标注周期后，基于更新的不确定性估计值，迭代重新训练模型，并选择新的区域。
• 标注成本估算为每点标注3秒，而逐像素标注成本则通过定义掩码所用的多边形顶点数近似估算。
• 该框架在不同策略下比较了Dice分数和标注成本的表现：全逐像素标注、随机区域选择、以及结合点级监督的基于熵的区域选择。

实验结果

研究问题

• RQ1 基于区域的主动学习结合点级监督是否能减少标注工作量，同时保持对COVID-19 CT图像的高分割性能？
• RQ2 基于熵的图像区域选择是否在模型性能和标注效率方面优于随机区域选择？
• RQ3 所选区域的大小如何影响最终的分割性能和标注成本？
• RQ4 点级监督在显著减少标注工作量的前提下，能在多大程度上实现与全逐像素监督相当的性能？
• RQ5 所提出的方法是否能仅用全标注所需极少部分的标注工作量，便实现接近最优的性能？

主要发现

• 通过基于熵的区域选择，该方法仅使用全训练集标注工作量的7%，便实现了76%的Dice分数，相当于全监督训练性能（84% Dice）的约90%。
• 点级标注每区域仅耗时约3秒，使在固定预算内可标注的区域数量显著增加，从而获得比逐像素标注更高的信息增益。
• 标注小区域比标注整张图像更高效，因为小区域聚焦于模型不确定性较高的区域，减少了冗余。
• 区域尺寸越大，性能显著下降，因为标注更可能未落在最具信息量的位置，尤其是在模型对背景区域不确定时。
• 该系统在性能上大幅优于随机区域选择，定性结果显示，即使在7%的标注工作量下，分割掩码也与真实标签高度吻合。
• 该框架的标注成本为2,460秒（2460秒），而全标注需35,328秒，标注工作量减少了93%。