[論文レビュー] FoodSky: A Food-oriented Large Language Model that Passes the Chef and Dietetic Examination

Pengfei Zhou, Weiqing Min+6 more|arXiv (Cornell University)|Jun 11, 2024

Culinary Culture and Tourism被引用数 4

ひとこと要約

FoodSky は、中国語の食品コーパス（FoodEarth）と、新たなアーキテクチャ―であるトピックベース選択状態空間モデル（TS3M）および階層的トピック検索増強生成（HTRAG）を活用して、食品および栄養学分野に特化した大規模言語モデル（LLM）として微調整されたものであり、食品固有の推論と生成を向上させた。中国国家シェフ試験および国家栄養士試験において、それぞれ67.2%および66.4%の正答率を達成し、汎用的LLMを上回る性能を示した。

ABSTRACT

Food is foundational to human life, serving not only as a source of nourishment but also as a cornerstone of cultural identity and social interaction. As the complexity of global dietary needs and preferences grows, food intelligence is needed to enable food perception and reasoning for various tasks, ranging from recipe generation and dietary recommendation to diet-disease correlation discovery and understanding. Towards this goal, for powerful capabilities across various domains and tasks in Large Language Models (LLMs), we introduce Food-oriented LLM FoodSky to comprehend food data through perception and reasoning. Considering the complexity and typicality of Chinese cuisine, we first construct one comprehensive Chinese food corpus FoodEarth from various authoritative sources, which can be leveraged by FoodSky to achieve deep understanding of food-related data. We then propose Topic-based Selective State Space Model (TS3M) and the Hierarchical Topic Retrieval Augmented Generation (HTRAG) mechanism to enhance FoodSky in capturing fine-grained food semantics and generating context-aware food-relevant text, respectively. Our extensive evaluations demonstrate that FoodSky significantly outperforms general-purpose LLMs in both chef and dietetic examinations, with an accuracy of 67.2% and 66.4% on the Chinese National Chef Exam and the National Dietetic Exam, respectively. FoodSky not only promises to enhance culinary creativity and promote healthier eating patterns, but also sets a new standard for domain-specific LLMs that address complex real-world issues in the food domain. An online demonstration of FoodSky is available at http://222.92.101.211:8200.

研究の動機と目的

• 中国語の文脈における複雑な食品および栄養学的推論タスクに特化したドメイン特化型LLMの開発。
• 文化的・食事的・医学的知識を統合することで、料理および栄養学的応用分野における既存のLLMのギャップを埋める。
• 新規なアーキテクチャおよびデータキュレーションを通じて、細分化された食品意味論および文脈に配慮した生成を強化する。
• 汎用的LLMと比較して、食品および栄養学分野の標準化試験において優れたパフォーマンスを示すことを実証する。
• 食品知能アプリケーション用に公開可能でオープンソースの基盤モデルを提供する。

提案手法

• 料理、栄養、医学のデータベースなど、権威ある出典から構成された包括的中国語食品コーパス「FoodEarth」の構築。
• トピックに配慮した状態空間メカニズムを用いて階層的かつ細分化された食品意味論を捉えるために、トピックベース選択状態空間モデル（TS3M）の設計。
• テキスト生成の前に関連するトピック固有の知識を検索することで、事実の整合性と関連性を向上させる階層的トピック検索増強生成（HTRAG）の開発。
• GPT-4、MOSS、BELLEなど複数のソースからの中国語の指示データセットを収集し、食品固有のキーワードフィルタリングを施した上で、FoodSkyのインstructチューニング。
• 階層的トピック構造と検索増強生成を統合することで、複雑な食事および料理関連の質問に対する推論を強化。
• シェフおよび栄養士分野の標準化試験での評価を通じて、実世界のパフォーマンスをベンチマーク化。

Figure 1: The potential applications of the proposed food-oriented LLM FoodSky in different scenarios.

実験結果

リサーチクエスチョン

• RQ1 食品特化型LLMは、国家レベルの料理および栄養士試験で専門的水準のパフォーマンスを達成できるか？
• RQ2 トピックに配慮した検索および生成は、食品関連の推論タスクにおける事実の正確性および関連性をどのように向上させるか？
• RQ3 キュレートされたドメイン特化型コーパスは、一般向けLLMと比較して、推論能力をどの程度向上させるか？
• RQ4 TS3Mアーキテクチャは、食品および栄養の概念の細分化された意味論モデリングをどのように改善するか？
• RQ5 検索増強生成フレームワークは、複雑で文脈に敏感な食事アドバイスを効果的に支援できるか？

主な発見

• FoodSky は中国国家シェフ試験で67.2%の正答率を達成し、汎用的LLMを著しく上回った。
• FoodSky は国家栄養士試験で66.4%の正答率を達成し、臨床的および栄養学的推論において強力なパフォーマンスを示した。
• HTRAG機構により、患者、妊婦、高齢者など多様なユーザー層において、応答の関連性および事実の整合性が向上した。
• 定性的評価において、FoodSky は全ユーザー層のカテゴリでベースラインモデルと比較して、より簡潔かつ正確な回答を提供した。
• TS3Mアーキテクチャは、料理、栄養、健康を含むマルチドメイン文脈における細分化された意味論モデリングを強化した。
• 標準化試験におけるモデルのパフォーマンスは、複雑な現実世界の食品および栄養学的推論タスクを処理できる能力を裏付けた。

Figure 2: The pipeline of establishing FoodEarth includes data source sorting, data annotation and similarity-based data screening. The semi-automated data filtering and annotation are the main procedures in data annotation. The AHC refers to the Agglomerative Hierarchical Clustering approach.