[论文解读] An Improved Deep Learning Approach For Product Recognition on Racks in Retail Stores

Ankit Sinha, Soham Banerjee+1 more|arXiv (Cornell University)|Feb 26, 2022

Advanced Image and Video Retrieval Techniques被引用 6

一句话总结

本文提出了一种轻量级、两阶段的深度学习流水线，用于零售货架上的自动产品识别，采用Faster R-CNN与特征金字塔网络（FPN）实现精确的目标定位，并使用基于ResNet-18的编码器结合三元组损失实现鲁棒分类。该方法在GP-180数据集上达到47.77%的mAP和58.11%的mAPR，优于先前方法的准确率，同时识别部分仅使用11M参数，检测部分仅使用42M参数，实现了高效的边缘设备部署。

ABSTRACT

Automated product recognition in retail stores is an important real-world application in the domain of Computer Vision and Pattern Recognition. In this paper, we consider the problem of automatically identifying the classes of the products placed on racks in retail stores from an image of the rack and information about the query/product images. We improve upon the existing approaches in terms of effectiveness and memory requirement by developing a two-stage object detection and recognition pipeline comprising of a Faster-RCNN-based object localizer that detects the object regions in the rack image and a ResNet-18-based image encoder that classifies the detected regions into the appropriate classes. Each of the models is fine-tuned using appropriate data sets for better prediction and data augmentation is performed on each query image to prepare an extensive gallery set for fine-tuning the ResNet-18-based product recognition model. This encoder is trained using a triplet loss function following the strategy of online-hard-negative-mining for improved prediction. The proposed models are lightweight and can be connected in an end-to-end manner during deployment for automatically identifying each product object placed in a rack image. Extensive experiments using Grozi-32k and GP-180 data sets verify the effectiveness of the proposed model.

研究动机与目标

• 开发一种准确、轻量且可部署的自动化零售货架产品识别解决方案。
• 克服先前工作中基于模板匹配的检测方法和重型模型的局限性。
• 通过Faster R-CNN结合FPN利用多尺度特征，提升定位精度。
• 通过数据增强和结合在线难样本挖掘的三元组损失，提升产品识别的鲁棒性。
• 在保持或提升性能的同时，显著降低内存占用，优于现有方法。

提出的方法

• 采用两阶段流水线：首先，使用带有特征金字塔网络（FPN）的Faster R-CNN对货架图像中的产品区域进行定位。
• 在Grozi-32k和GP-180数据集上通过数据增强对模型进行微调，以提升泛化能力。
• 将检测到的区域输入基于ResNet-18的图像编码器，该编码器通过三元组损失和在线难样本挖掘进行训练，以提升嵌入质量。
• 通过从查询图像中提取的增强图库集对识别模型进行微调，以模拟现实世界中的外观变化。
• 将两个模型端到端连接用于部署，实现在边缘设备上的实时推理。
• 在GP-180和Grozi-32k基准上使用mAP和mAPR指标对系统进行评估。

实验结果

研究问题

• RQ1 两阶段深度学习流水线是否能在零售货架图像的产品定位与识别准确率上超越现有方法？
• RQ2 在显著降低内存占用的前提下，基于ResNet-18与三元组损失的轻量模型是否能在识别性能上优于如VGG-16等更重的模型？
• RQ3 在Faster R-CNN中使用FPN实现的多尺度特征是否能显著提升定位精度，尤其是在杂乱或重叠场景下，相比YOLO类模型？
• RQ4 数据增强与在线难样本挖掘是否能显著提升在外观变化下的识别鲁棒性？
• RQ5 由于参数量低且推理效率高，该提出的流水线是否能有效部署于边缘设备？

主要发现

• 所提方法在GP-180数据集上达到47.77%的mAP和58.11%的mAPR，相比A-Ton-DL-pipeline在mAP上高出11.71个百分点。
• 尽管在mAPR上相比A-Ton-DL-pipeline仅低0.30个百分点，但本模型的识别部分仅使用11M参数，而VGG-16基线模型使用了138M参数。
• Faster R-CNN-FPN检测器参数量为42M，显著少于A-Ton-DL-pipeline中使用的YOLO基线模型的62M参数。
• 与基于模板匹配的方法相比，本模型在检测空白区域以及处理重叠或外观相似产品方面表现更优。
• 系统在内存使用方面极为高效，适合部署于计算资源受限的边缘设备。
• 局限性包括在纹理包装周围出现误报，以及在紧密堆叠、外观相似物品中定位不佳，表明需要扩充训练数据。