[论文解读] FoodSky: A Food-oriented Large Language Model that Passes the Chef and Dietetic Examination

Pengfei Zhou, Weiqing Min+6 more|arXiv (Cornell University)|Jun 11, 2024

Culinary Culture and Tourism被引用 4

一句话总结

FoodSky 是一个针对食品与营养学领域微调的专用大语言模型（LLM），利用全面的中文食品语料库（FoodEarth）和新型架构——基于主题的可选状态空间模型（TS3M）与分层主题检索增强生成（HTRAG），以提升食品特定的推理与生成能力。其在中文国家厨师考试和国家营养师考试中的准确率分别达到67.2%和66.4%，优于通用大语言模型。

ABSTRACT

Food is foundational to human life, serving not only as a source of nourishment but also as a cornerstone of cultural identity and social interaction. As the complexity of global dietary needs and preferences grows, food intelligence is needed to enable food perception and reasoning for various tasks, ranging from recipe generation and dietary recommendation to diet-disease correlation discovery and understanding. Towards this goal, for powerful capabilities across various domains and tasks in Large Language Models (LLMs), we introduce Food-oriented LLM FoodSky to comprehend food data through perception and reasoning. Considering the complexity and typicality of Chinese cuisine, we first construct one comprehensive Chinese food corpus FoodEarth from various authoritative sources, which can be leveraged by FoodSky to achieve deep understanding of food-related data. We then propose Topic-based Selective State Space Model (TS3M) and the Hierarchical Topic Retrieval Augmented Generation (HTRAG) mechanism to enhance FoodSky in capturing fine-grained food semantics and generating context-aware food-relevant text, respectively. Our extensive evaluations demonstrate that FoodSky significantly outperforms general-purpose LLMs in both chef and dietetic examinations, with an accuracy of 67.2% and 66.4% on the Chinese National Chef Exam and the National Dietetic Exam, respectively. FoodSky not only promises to enhance culinary creativity and promote healthier eating patterns, but also sets a new standard for domain-specific LLMs that address complex real-world issues in the food domain. An online demonstration of FoodSky is available at http://222.92.101.211:8200.

研究动机与目标

• 开发一个专用于中文语境下复杂食品与营养学推理任务的领域专用大语言模型。
• 通过整合文化、饮食与医学知识，弥补现有大语言模型在烹饪与营养应用方面的不足。
• 通过创新架构与数据整理，提升细粒度食品语义与上下文感知的生成能力。
• 在食品与营养学标准化考试中，相比通用大语言模型，展现出更优的性能表现。
• 为食品智能应用提供公开可访问、开源的基础模型。

提出的方法

• 构建 FoodEarth，一个从权威来源（包括烹饪、营养与医学数据库）整理而成的综合性中文食品语料库。
• 设计基于主题的可选状态空间模型（TS3M），通过主题感知的状态空间机制捕捉分层且细粒度的食品语义。
• 开发分层主题检索增强生成（HTRAG），在文本生成前检索相关主题知识，提升事实一致性与相关性。
• 使用来自多个来源（包括 GPT-4、MOSS 和 BELLE）的精选中文指令数据集对 FoodSky 进行指令微调，辅以食品特定关键词过滤。
• 将检索增强生成与分层主题结构相结合，以增强对复杂饮食与烹饪查询的推理能力。
• 在国家厨师与营养师标准化考试上进行评估，以基准化其在真实场景中的表现。

Figure 1: The potential applications of the proposed food-oriented LLM FoodSky in different scenarios.

实验结果

研究问题

• RQ1 专用食品大语言模型是否能在国家厨师与营养师考试中达到专家水平的表现？
• RQ2 主题感知的检索与生成如何提升食品相关推理任务中的事实准确性与相关性？
• RQ3 与通用大语言模型相比，经过精心筛选的领域专用语料库在多大程度上提升了推理能力？
• RQ4 TS3M 架构在多领域语境（如烹饪、营养与健康）中，如何提升对细粒度食品语义的建模能力？
• RQ5 检索增强生成框架是否能有效支持复杂、上下文敏感的饮食建议？

主要发现

• FoodSky 在中文国家厨师考试中取得67.2%的准确率，显著优于通用大语言模型。
• FoodSky 在国家营养师考试中取得66.4%的准确率，展现出在临床与营养推理方面的强大能力。
• HTRAG 机制在包括患者、孕妇与老年人在内的各类用户群体中，均提升了响应的相关性与事实一致性。
• 在定性评估中，FoodSky 在所有用户群体类别中均提供了比基线模型更简洁、更精确的回答。
• TS3M 架构增强了对细粒度食品语义的建模能力，尤其在涉及烹饪、营养与健康等多领域语境中表现突出。
• 模型在标准化考试中的表现证实其具备处理复杂、真实世界食品与营养学推理任务的能力。

Figure 2: The pipeline of establishing FoodEarth includes data source sorting, data annotation and similarity-based data screening. The semi-automated data filtering and annotation are the main procedures in data annotation. The AHC refers to the Agglomerative Hierarchical Clustering approach.