[论文解读] Active learning for efficient annotation in precision agriculture: a use-case on crop-weed semantic segmentation

Bart M. van Marrewijk, Charbel Dandjinou+6 more|arXiv (Cornell University)|Apr 3, 2024

Smart Agriculture and AIAgricultural and Biological Sciences被引用 3

一句话总结

本研究评估了基于贝叶斯主动学习的分歧方法（BALD）及其随机变体PowerBALD在精准农业作物-杂草语义分割中的应用，采用蒙特卡洛丢弃法估计模型不确定性。PowerBALD在模型准确率方面优于随机采样且方差更低，但由于农业数据集中的类别严重不平衡和图像冗余，差异未达到统计显著性。

ABSTRACT

Optimizing deep learning models requires large amounts of annotated images, a process that is both time-intensive and costly. Especially for semantic segmentation models in which every pixel must be annotated. A potential strategy to mitigate annotation effort is active learning. Active learning facilitates the identification and selection of the most informative images from a large unlabelled pool. The underlying premise is that these selected images can improve the model's performance faster than random selection to reduce annotation effort. While active learning has demonstrated promising results on benchmark datasets like Cityscapes, its performance in the agricultural domain remains largely unexplored. This study addresses this research gap by conducting a comparative study of three active learning-based acquisition functions: Bayesian Active Learning by Disagreement (BALD), stochastic-based BALD (PowerBALD), and Random. The acquisition functions were tested on two agricultural datasets: Sugarbeet and Corn-Weed, both containing three semantic classes: background, crop and weed. Our results indicated that active learning, especially PowerBALD, yields a higher performance than Random sampling on both datasets. But due to the relatively large standard deviations, the differences observed were minimal; this was partly caused by high image redundancy and imbalanced classes. Specifically, more than 89\% of the pixels belonged to the background class on both datasets. The absence of significant results on both datasets indicates that further research is required for applying active learning on agricultural datasets, especially if they contain a high-class imbalance and redundant images. Recommendations and insights are provided in this paper to potentially resolve such issues.

研究动机与目标

• 评估基于不确定性的主动学习在减少精准农业语义分割标注工作量方面的有效性。
• 探究如BALD和PowerBALD等成熟采样函数在具有高度类别不平衡和图像冗余的农业数据集上是否具有良好泛化能力。
• 在真实世界作物-杂草数据集上比较主动学习策略（BALD、PowerBALD、随机采样），以识别性能提升与局限性。
• 通过解决数据不平衡与冗余问题，为改进农业计算机视觉中的主动学习提供可操作的见解。

提出的方法

• 采用蒙特卡洛丢弃法估计语义分割模型的主体性不确定性，实现基于不确定性的图像选择。
• 应用三种采样函数：贝叶斯主动学习分歧法（BALD）、其随机变体PowerBALD，以及随机采样作为对照。
• 在预标注数据上训练模型，并通过多次前向传播计算的不确定性得分，迭代选择最不确定的图像。
• 在两个农业数据集——甜菜和玉米-杂草——上评估性能，每个数据集包含三类：背景、作物和杂草。
• 使用像素级分割准确率作为主要指标，比较不同采样策略下的模型性能。
• 进行多次重复实验以评估结果的稳定性与变异性，特别是在高冗余和类别不平衡条件下。

Figure 1 : FCHarDNet network architecture [ 13 ] with dropout (DO). The numbers in the figure indicate the number of strides for a given block.

实验结果

研究问题

• RQ1 基于不确定性的主动学习方法（如BALD和PowerBALD）是否能在农业语义分割中通过更少的标注图像提升模型性能？
• RQ2 在真实世界作物-杂草数据集上，BALD和PowerBALD相较于随机采样在分割准确率和训练稳定性方面表现如何？
• RQ3 农业数据集中存在的类别不平衡与图像冗余在多大程度上限制了主动学习的有效性？
• RQ4 主动学习在不同农业作物-杂草场景（如甜菜与玉米-杂草）中的表现是否存在差异？
• RQ5 在农业数据集中应用主动学习面临的主要挑战是什么？如何加以缓解？

主要发现

• PowerBALD在甜菜和玉米-杂草数据集上均实现了比随机采样更高的平均分割准确率，表明学习效率有所提升。
• 与随机采样相比，PowerBALD在重复实验中表现出更低的方差，表明采样过程更具稳定性。
• 尽管趋势更优，但未观察到统计显著差异（p ≤ 0.05），主要由于标准差较大。
• 两个数据集中超过89%的像素属于背景类别，表明类别严重不平衡，可能掩盖了性能提升。
• 数据集中图像冗余降低了所选样本的信息量，削弱了基于不确定性的选择优势。
• 在Cityscapes数据集上的实验表明，BALD和PowerBALD均优于随机采样，证实了其在冗余较少、类别平衡的数据集上的潜力。

(a)