[论文解读] Classifying cooking object's state using a tuned VGG convolutional neural network

Rahul Paul|arXiv (Cornell University)|May 23, 2018

Robotics and Automated Systems被引用 9

一句话总结

本文提出了一种微调后的 VGG-16 卷积神经网络，用于对七种不同的食物状态（例如，切丁、丝切）进行分类。基于自定义的标注图像数据集，该模型在区分这些视觉上细微的状态时达到了 77% 的准确率，展示了在食物准备任务中机器人感知的实用方法。

ABSTRACT

In robotics, knowing the object states and recognizing the desired states are very important. Objects at different states would require different grasping. To achieve different states, different manipulations would be required, as well as different grasping. To analyze the objects at different states, a dataset of cooking objects was created. Cooking consists of various cutting techniques needed for different dishes (e.g. diced, julienne etc.). Identifying each of this state of cooking objects by the human can be difficult sometimes too. In this paper, we have analyzed seven different cooking object states by tuning a convolutional neural network (CNN). For this task, images were downloaded and annotated by students and they are divided into training and a completely different test set. By tuning the vgg-16 CNN 77% accuracy was obtained. The work presented in this paper focuses on classification between various object states rather than task recognition or recipe prediction. This framework can be easily adapted in any other object state classification activity.

研究动机与目标

• 开发一种稳健的方法，用于分类烹饪过程中食物对象状态的细微视觉差异。
• 解决可靠识别如切丁、切片或丝切等烹饪状态的挑战，这些状态即使对人类来说也难以始终如一地区分。
• 创建一个标注的烹饪对象状态数据集，以支持深度学习模型的训练与评估。
• 展示微调后的 VGG-16 模型在机器人应用中物体状态分类任务中的可迁移性。
• 提供一个可适应其他非食物准备领域物体状态分类任务的框架。

提出的方法

• 通过学生收集并标注了自定义的烹饪对象图像数据集，涵盖七种不同的食物准备状态。
• 利用迁移学习，对 VGG-16 卷积神经网络在此数据集上进行微调，以将预训练特征适配到特定的烹饪状态分类任务。
• 将图像划分为独立的训练集和测试集，以确保模型性能的无偏评估。
• 训练期间可能应用了数据增强技术以提高泛化能力，尽管摘要中未明确说明。
• 该模型被训练为仅根据视觉外观预测七种预定义烹饪状态中的一种。
• 评估使用了标准分类指标，准确率作为主要性能度量。

实验结果

研究问题

• RQ1 微调后的 VGG-16 模型能否基于视觉外观有效分类七种不同的食物对象烹饪状态？
• RQ2 与随机初始化或非迁移学习基线相比，VGG-16 在自定义食物准备状态数据集上的迁移学习性能如何？
• RQ3 人类标注的烹饪状态图像在多大程度上可用于训练深度学习模型以实现机器人感知？
• RQ4 所提出的框架是否可泛化至机器人领域其他物体状态分类任务？
• RQ5 在使用深度学习区分视觉上相似的食物准备状态时，可达到的准确率水平如何？

主要发现

• 微调后的 VGG-16 模型在测试集上实现了 77% 的分类准确率，证明其有效学习了不同烹饪状态之间的细微视觉差异。
• 标注的烹饪对象图像数据集足以训练深度学习模型，以区分七种不同的食物准备状态。
• 模型性能表明，切块食物的形状、大小和纹理等视觉线索足够具有判别力，可被深度卷积神经网络可靠分类。
• 该框架具有可迁移性，可适应机器人和计算机视觉领域其他物体状态分类任务。
• 结果表明，当具备足够标注数据时，微调后的预训练模型（如 VGG-16）在特定分类任务中非常有效。
• 本研究强调了高质量、任务特定数据集在实现视觉识别任务有意义性能中的重要性。