[论文解读] Deep Learning for Classifying Food Waste

Amin Mazloumian, Matthias Rosenthal+1 more|arXiv (Cornell University)|Feb 6, 2020

Food Waste Reduction and Sustainability参考文献 8被引用 5

一句话总结

本文提出一种深度学习方法，采用双流卷积神经网络并引入自定义的'delta层'，通过智能垃圾桶在垃圾投放前后拍摄的图像对对食物垃圾进行分类。通过强调每次投放事件后的特征变化，该模型在缺乏目标定位或语义分割标注的情况下，仅使用五十万张图像即实现了对20类食物垃圾83.5%的分类准确率。

ABSTRACT

One third of food produced in the world for human consumption -- approximately 1.3 billion tons -- is lost or wasted every year. By classifying food waste of individual consumers and raising awareness of the measures, avoidable food waste can be significantly reduced. In this research, we use deep learning to classify food waste in half a million images captured by cameras installed on top of food waste bins. We specifically designed a deep neural network that classifies food waste for every time food waste is thrown in the waste bins. Our method presents how deep learning networks can be tailored to best learn from available training data.

研究动机与目标

• 为解决个体消费者食物垃圾数据缺失的问题，提出在消费阶段实现食物垃圾自动分类的方法。
• 开发一种深度学习模型，能够基于安装在垃圾桶顶部的摄像头拍摄的图像对，对食物垃圾进行分类，即使图像中存在多个食物物品。
• 设计一种神经网络架构，仅依赖最后一件投入垃圾桶的食物物品的类别标签，即可在有限标注条件下有效学习。
• 通过利用图像特征在时间维度上的差异，克服因食物多样性、液体垃圾及重叠纹理带来的视觉分类挑战。

提出的方法

• 基于VGG16的双流卷积神经网络从每次垃圾投放事件前后的图像中提取特征。
• Delta层计算'投放后'图像与经缩放的'投放前'图像在各抽象层级上的特征体积差异，并经ReLU激活，以突出最新垃圾引入的新特征。
• 通过可学习的缩放常数λᶜ学习缩放后的'投放前'特征体积，实现对相关变化的自适应强调。
• 将delta层输出的特征图在对应抽象层级上与第三个共享卷积路径的特征图相加，以整合时间维度上的变化信息。
• 将最终的特征体积展平后，通过三个全连接层输出20分类结果。
• 在预处理阶段使用U-Net模型，对小规模标注子集实现95.8%的像素级准确率，完成背景减除。

实验结果

研究问题

• RQ1 仅使用投放前后的图像对，深度学习模型能否准确识别最后投入垃圾桶的食物垃圾类别？
• RQ2 当仅标注最近一件物品的类别时，神经网络如何在训练数据有限的情况下实现有效学习？
• RQ3 delta层在聚焦每次投放后引入的新特征方面，能在多大程度上提升分类性能？
• RQ4 模型是否能在不依赖目标检测或语义分割标注的情况下，实现高精度的食物垃圾分类？

主要发现

• 所提出的模型仅使用图像对和单标签标注，即在20类不同食物垃圾分类任务中实现了83.5%的分类准确率。
• U-Net预处理步骤在识别图像中食物垃圾区域方面实现了95.8%的像素级准确率，有效支持了背景减除。
• delta层机制成功突出了每次投放后引入的新视觉特征，提升了模型对新近添加物品的敏感性。
• 通过利用图像特征在时间维度上的差异，模型有效应对了重叠食物、液体垃圾及纹理变化等视觉挑战。
• 该架构表明，通过聚焦连续图像间的特征变化，深度学习可被有效调整以适应稀疏标注场景。