[论文解读] Inference of Recyclable Objects with Convolutional Neural Networks

Jaime Caballero, Francisco Vergara+2 more|arXiv (Cornell University)|Apr 2, 2021

Municipal Solid Waste Management参考文献 14被引用 4

一句话总结

本论文提出了一种基于深度学习的自动化回收废物分拣系统，采用卷积神经网络（CNN）在包含超过10,000张塑料瓶、铝罐和纸张/纸板真实世界图像的新数据集Fotini10k上进行训练。该系统在ResNet50、MobileNetV1和MobileNetV2模型上实现了99%的top-1准确率，并在8位量化后仍保持97%的准确率，使其实现实时推理成为可能，适用于树莓派和Coral TPU等边缘设备。

ABSTRACT

Population growth in the last decades has resulted in the production of about 2.01 billion tons of municipal waste per year. The current waste management systems are not capable of providing adequate solutions for the disposal and use of these wastes. Recycling and reuse have proven to be a solution to the problem, but large-scale waste segregation is a tedious task and on a small scale it depends on public awareness. This research used convolutional neural networks and computer vision to develop a tool for the automation of solid waste sorting. The Fotini10k dataset was constructed, which has more than 10,000 images divided into the categories of 'plastic bottles', 'aluminum cans' and 'paper and cardboard'. ResNet50, MobileNetV1 and MobileNetV2 were retrained with ImageNet weights on the Fotini10k dataset. As a result, top-1 accuracy of 99% was obtained in the test dataset with all three networks. To explore the possible use of these networks in mobile applications, the three nets were quantized in float16 weights. By doing so, it was possible to obtain inference times twice as low for Raspberry Pi and three times as low for computer processing units. It was also possible to reduce the size of the networks by half. When quantizing the top-1 accuracy of 99% was maintained with all three networks. When quantizing MobileNetV2 to int-8, it obtained a top-1 accuracy of 97%.

研究动机与目标

• 开发一种基于计算机视觉与深度学习的自动化回收废物分拣系统。
• 构建并发布Fotini10k数据集，包含超过10,000张真实世界中三类可回收物（塑料瓶、铝罐和纸张/纸板）的图像。
• 评估并比较预训练CNN模型——ResNet50、MobileNetV1和MobileNetV2——在Fotini10k数据集上用于废物分类的性能。
• 通过量化优化模型，以实现在边缘设备上的部署，同时保持高准确率并减少模型大小与推理时间。
• 通过展示最先进的图像分类性能，为未来废物分拣中的目标检测系统奠定基础。

提出的方法

• Fotini10k数据集通过在真实环境中使用定制机器人系统采集，图像在视觉中性条件下拍摄，以确保一致性和代表性。
• 利用迁移学习，对ResNet50、MobileNetV1和MobileNetV2架构在Fotini10k数据集上进行微调，使用ImageNet预训练权重。
• 量化分两个阶段进行：首先转换为float16精度以减小模型大小并加快推理速度，然后进一步转换为8位整型（int-8）以实现进一步优化。
• 在树莓派4和Google Coral Dev Board等嵌入式平台上评估推理性能，测量推理时间与每秒帧数（fps）。
• 将模型转换为TensorFlow Lite（.tflite）格式，以实现在边缘设备上的高效部署。
• 从准确率、模型大小和推理速度三个方面，对比量化模型与全精度模型的性能。

实验结果

研究问题

• RQ1 大规模真实世界可回收物数据集是否能提升基于CNN的废物分类模型的准确率？
• RQ2 当在Fotini10k数据集上微调时，不同CNN架构（ResNet50、MobileNetV1和MobileNetV2）在可回收废物分类任务中的表现如何？
• RQ3 模型量化在多大程度上能减少推理时间和模型大小，而不会显著降低分类准确率？
• RQ4 训练好的模型是否能在低功耗边缘设备（如树莓派和Google Coral TPU）上实现实时推理性能？
• RQ5 所提出的系统在废物图像分类方面的性能与以往工作相比如何，特别是在top-1准确率方面？

主要发现

• 在Fotini10k数据集上微调后，所提出的系统在测试集上对所有三种CNN架构（ResNet50、MobileNetV1和MobileNetV2）均实现了99%的top-1准确率。
• 将模型量化至float16精度后，树莓派上的推理时间减少了一半，标准CPU上的推理时间减少了三分之二，且准确率未下降。
• 将模型量化至8位整型权重后，模型大小减少一半，同时保持97%的top-1准确率，其中MobileNetV2在速度与准确率之间表现出最佳平衡。
• 在Google Coral Dev Board上，量化至int-8的MobileNetV2模型推理速度超过350 fps，展现出实现实时性能的潜力。
• 所训练的模型对量化具有高度容忍性，float16量化后仅出现0.001%的准确率下降，表明其在边缘部署中具备鲁棒性。
• Fotini10k数据集使废物图像分类达到最先进水平，超越了以往工作，例如Gyawali等人使用ResNet18报告的87.8% top-1准确率。