[论文解读] Is Saki #delicious? The Food Perception Gap on Instagram and Its Relation to Health

Ferda Ofli, Yusuf Aytar+3 more|arXiv (Cornell University)|Feb 21, 2017

Culinary Culture and Tourism参考文献 42被引用 11

一句话总结

本文引入了“感知差距”这一概念——即Instagram上人类标注的食物图片与机器生成的图像识别标签之间系统性错位，通过计算机视觉分析主观食物感知与县级层面公共卫生结果之间的关系。研究发现，更为主动、具体的标注（如对清酒使用#delicious标签）与较低的肥胖率相关，表明有意识的食物感知与更好的健康状况相关。

ABSTRACT

Food is an integral part of our life and what and how much we eat crucially affects our health. Our food choices largely depend on how we perceive certain characteristics of food, such as whether it is healthy, delicious or if it qualifies as a salad. But these perceptions differ from person to person and one person's "single lettuce leaf" might be another person's "side salad". Studying how food is perceived in relation to what it actually is typically involves a laboratory setup. Here we propose to use recent advances in image recognition to tackle this problem. Concretely, we use data for 1.9 million images from Instagram from the US to look at systematic differences in how a machine would objectively label an image compared to how a human subjectively does. We show that this difference, which we call the "perception gap", relates to a number of health outcomes observed at the county level. To the best of our knowledge, this is the first time that image recognition is being used to study the "misalignment" of how people describe food images vs. what they actually depict.

研究动机与目标

• 调查社交媒体图像中人类对食物的感知与基于机器的图像识别之间的差异，即所谓的“感知差距”。
• 探讨该感知差距如何与美国县级层面的真实公共卫生结果相关。
• 确定社交媒体上的主观标签模式（如#delicious、#healthy）是否反映更为主动、更注重健康的食品选择。
• 评估机器视觉是否能够检测出超越简单物体识别的心理和行为信号。
• 建立一种利用社交媒体图像数据与计算机视觉进行大规模、低成本公共卫生监测的新方法。

提出的方法

• 从美国收集了190万张带有地理标签的Instagram食物图片，包含人工提供的标签和机器生成的图像标签。
• 在约370万张图片的数据集上训练了一个基于深度学习的食物识别模型，在Food-101基准测试中达到最先进性能。
• 将“感知差距”定义为人工标注标签与机器生成图像标签之间概率分布的差异。
• 通过聚合地理标签帖子的图像级差距，计算每个县的感知差距特征。
• 将感知差距特征与县级健康统计数据（包括食品环境指数和肥胖率）进行相关性分析。
• 将感知差距特征的结果与仅使用人工标签或仅使用机器标签的基线模型进行比较，以验证信号的特异性。

实验结果

研究问题

• RQ1 人类与机器对食物图像标注的感知差距在不同美国县级之间如何变化？
• RQ2 感知差距在多大程度上与可测量的公共卫生结果（如肥胖率和食品环境指数）相关？
• RQ3 特定的人工标注行为（如将图片标记为#delicious或#healthy）是否可作为更为主动、更注重健康的食品选择的指标？
• RQ4 感知差距是否在仅使用人工标签或仅使用机器标签的模型之外，仍具备预测健康结果的能力？
• RQ5 图像识别技术能否检测出反映更广泛公共卫生趋势的食物分享中的心理或行为模式？

主要发现

• 用户更倾向于使用具体品牌名称（如#heineken）而非通用标签的县，其食品环境指数得分更高，表明食品选择更具主动性。
• 尽管机器将清酒客观分类，但用户将其标记为#delicious的图片与对应县的肥胖率显著降低相关。
• 感知差距特征集在预测健康结果方面优于仅使用人工标签或仅使用机器标签的模型，表明其捕捉到了独特且有意义的信号。
• 感知差距并非单纯的人工标注偏差的反映，因为在控制人工和机器标签基线后，其仍与健康结果显著相关。
• 本研究证明，图像识别能够检测出与公共卫生相关联的、细微且具有行为意义的食物感知差异，为传统实验室研究提供了一种可扩展的替代方案。
• 感知差距分析揭示了食物分享中的系统性文化与行为模式，如品牌特异性与口味强调，这些特征与更健康的区域健康状况相关。