[论文解读] Acquire, Augment, Segment & Enjoy: Weakly Supervised Instance Segmentation of Supermarket Products

Patrick Follmann, Bertram Drost+1 more|arXiv (Cornell University)|Jul 5, 2018

Industrial Vision Systems and Defect Detection参考文献 18被引用 3

一句话总结

本文提出一种弱监督实例分割方法，仅使用图像级类别标签对超市商品进行实例分割，通过简单的转盘采集方式和先进的数据增强技术，以最少的人工标注生成高质量的训练数据。尽管存在领域差异，该方法仍取得了68.9%的平均平均精度，表现超出弱监督学习的预期水平，接近全监督基线模型80.1%的性能。

ABSTRACT

Grocery stores have thousands of products that are usually identified using barcodes with a human in the loop. For automated checkout systems, it is necessary to count and classify the groceries efficiently and robustly. One possibility is to use a deep learning algorithm for instance-aware semantic segmentation. Such methods achieve high accuracies but require a large amount of annotated training data. We propose a system to generate the training annotations in a weakly supervised manner, drastically reducing the labeling effort. We assume that for each training image, only the object class is known. The system automatically segments the corresponding object from the background. The obtained training data is augmented to simulate variations similar to those seen in real-world setups.

研究动机与目标

• 降低工业应用中实例分割的高标注成本，例如自动化结账系统。
• 通过仅使用图像级类别标签，实现深度学习模型的最小化人工标注训练。
• 通过定制化的数据增强技术，缓解控制环境下的训练图像与复杂真实测试场景之间的领域差异。
• 证明弱监督学习可在工业实例分割任务中实现与全监督基线模型相媲美性能。
• 开发一种可扩展、低投入的流水线，用于在受控环境中为特定产品类别生成训练数据。

提出的方法

• 在转盘上采集单个商品图像，每张图像仅附带一个类别标签，通过基础图像处理技术实现自动前景分割。
• 使用Otsu阈值法和形态学操作，从背景均匀的图像中提取目标掩码。
• 应用随机裁剪、缩放、旋转和颜色抖动等数据增强技术，以模拟真实世界中的变化。
• 引入两种新型增强阶段：光照变化建模和遮挡模拟，以应对反光和重叠物体等挑战。
• 在弱监督且经过增强的训练数据上训练实例分割模型（如Mask R-CNN）。
• 在D2S数据集上评估性能，比较弱监督模型与全监督基线在领域差异下的表现。

实验结果

研究问题

• RQ1 仅使用图像级类别标签，不依赖边界框或像素掩码，能否有效训练实例分割模型？
• RQ2 通过简单的转盘采集方式自动生成掩码，在生成可用训练数据方面效果如何？
• RQ3 数据增强在缓解控制环境下训练图像与复杂真实世界测试场景之间领域差异方面，能发挥多大作用？
• RQ4 弱监督学习在工业实例分割任务中能否实现与全监督方法相媲美的性能？
• RQ5 增强后的训练图像数量如何影响模型的泛化能力和性能表现？

主要发现

• 在D2S测试集上，该弱监督方法取得了68.9%的平均平均精度（mAP），而全监督基线在领域差异下为80.1%。
• 尽管仅使用类别标签和简单采集方式，自动生成的掩码仍能生成高质量的训练数据，适用于深度学习。
• 所提出的光照变化建模和遮挡模拟增强阶段显著提升了模型对真实世界挑战（如反光和重叠商品）的鲁棒性。
• 当增强图像数量超过某一临界点后，性能不再提升，表明数据质量与真实性比单纯数量更为关键。
• 即使标注训练图像数量已较大，数据增强仍能提升性能，表明其在泛化能力上的作用不仅限于数据扩充。
• 该方法在极低标注成本下实现了具有竞争力的实例分割性能，具备在超市自动化工业部署中的可行性。