[论文解读] Diet2Vec: Multi-scale analysis of massive dietary data

Wesley Tansey, Edward W. Lowe+1 more|arXiv (Cornell University)|Dec 1, 2016

Nutritional Studies and Diet参考文献 4被引用 1

一句话总结

Diet2Vec 是一种多尺度深度学习框架，从 LoseIt 应用中包含 55,000 名用户的海量数据中，学习食物、餐次和完整饮食能够解释的实值嵌入表示。通过结合 word2vec 与 paragraph2vec，并结合迭代聚类与归一化，该方法在每一层级均发现语义上有意义的聚类，即使在训练过程中未显式输入营养信息，饮食能量水平的聚类仍展现出清晰的宏量营养素特征。

ABSTRACT

Smart assistants and recommender systems must deal with lots of information coming from different sources and having different formats. This is more frequent in text data, which presents increased variability and complexity, and is rather common for conversational assistants or chatbots. Moreover, this issue is very evident in the food and nutrition lexicon, where the semantics present increased variability, namely due to hypernyms and hyponyms. This work describes the creation of a set of word embeddings based on the incorporation of information from a food thesaurus - LanguaL - through retrofitting. The ingredients were classified according to three different facet label groups. Retrofitted embeddings seem to properly encode food-specific knowledge, as shown by an increase on accuracy as compared to generic embeddings (+23%, +10% and +31% per group). Moreover, a weighing mechanism based on TF-IDF was applied to embedding creation before retrofitting, also bringing an increase on accuracy (+5%, +9% and +5% per group). Finally, the approach has been tested with human users in an ingredient retrieval exercise, showing very positive evaluation (77.3% of the volunteer testers preferred this method over a string-based matching algorithm).

研究动机与目标

• 使用来自智能手机饮食记录应用的真实世界数据，大规模建模精细的饮食能量模式。
• 通过开发一种稳健且可扩展的潜在表示学习方法，应对嘈杂的众包饮食能量数据挑战。
• 利用文本与营养特征，构建食物、餐次与完整饮食模式的分层多尺度表示。
• 在每一层级生成能够反映真实世界饮食行为与营养特征的可解释聚类。
• 支持个性化营养建议与体重管理中的行为预测等下游应用。

提出的方法

• 对食物名称应用 word2vec，生成基于名称的初始嵌入表示，将每个食物名称视为一个文档。
• 将宏量与微量营养素数值转换为每卡路里的单位，以确保分量无关性。
• 将基于 word2vec 的食物名称向量与归一化、Winsorized 处理后的营养素向量拼接，形成最终的食物嵌入表示。
• 对餐次层级数据应用 paragraph2vec（DBOW），其中餐次被视作食物条目的序列，以生成餐次层级的嵌入表示。
• 在每一层级的嵌入表示上应用聚类（如 k-means），形成食物、餐次与饮食能量层级的可解释‘词’。
• 通过迭代的收缩-扩展过程优化表示：先对嵌入表示进行聚类，再在下一级别重新嵌入。

实验结果

研究问题

• RQ1 可扩展的深度学习框架能否从大规模、嘈杂的真实世界数据中学习到有意义且可解释的饮食能量模式表示？
• RQ2 在食物、餐次与饮食能量层级生成的聚类是否反映了直观且真实世界的饮食行为与营养特征？
• RQ3 在未直接输入营养信息的情况下，仅基于共现模式训练的餐次嵌入是否仍能捕捉用户饮食能量中不同的宏量营养素比例？
• RQ4 最终的饮食能量聚类在多大程度上对应于已知的饮食能量模式，如低碳水或高蛋白饮食？
• RQ5 该模型的输出能否用于支持实际应用，如个性化餐次推荐或减重预测？

主要发现

• 该模型从 8800 万条食物记录中成功学习了 450 万个唯一食物嵌入表示，其中 90% 的食物聚类基于名称与营养特征具有高度可解释性。
• 基于共现模式生成的餐次嵌入形成了 1,000 个可解释的聚类，如‘墨西哥风味食物’、‘美式早餐’与‘赛百味套餐’。
• 由餐次‘词袋’构成的饮食能量聚类揭示了不同的宏量营养素特征：一组明显为低碳水，另一组为高碳水且低脂，第三组则为均衡型。
• 尽管餐次建模阶段未直接输入营养信息，但最终的饮食能量聚类仍展现出强烈的语义与营养一致性，表明共现模式可自发产生结构化特征。
• 通过中位数偏差标准化与 Winsorization 处理，模型对数据噪声（如拼写错误与营养素缺失）表现出强鲁棒性。
• 最终的饮食能量聚类并非人为挑选；不可解释的聚类极为罕见，且大多数聚类均反映了 55,000 名用户数据集中常见的饮食能量模式。