[논문 리뷰] FoodSky: A Food-oriented Large Language Model that Passes the Chef and Dietetic Examination

Pengfei Zhou, Weiqing Min외 6명|arXiv (Cornell University)|2024. 06. 11.

Culinary Culture and Tourism인용 수 4

한 줄 요약

FoodSky는 중국어 음식 어휘집(FoodEarth)과 새로운 아키텍처인 주제 기반 선택적 상태공간 모델(TS3M) 및 계층적 주제 검색 증강 생성(HTRAG)을 활용하여 음식 및 영양학 분야에 특화된 대규모 언어 모델(LLM)로, 음식 전용 추론 및 생성 능력을 향상시켰다. 중국 국립 요리사 시험과 국립 영양사 시험에서 각각 67.2% 및 66.4%의 정확도를 기록하여 일반 목적의 LLM보다 뛰어난 성능을 보였다.

ABSTRACT

Food is foundational to human life, serving not only as a source of nourishment but also as a cornerstone of cultural identity and social interaction. As the complexity of global dietary needs and preferences grows, food intelligence is needed to enable food perception and reasoning for various tasks, ranging from recipe generation and dietary recommendation to diet-disease correlation discovery and understanding. Towards this goal, for powerful capabilities across various domains and tasks in Large Language Models (LLMs), we introduce Food-oriented LLM FoodSky to comprehend food data through perception and reasoning. Considering the complexity and typicality of Chinese cuisine, we first construct one comprehensive Chinese food corpus FoodEarth from various authoritative sources, which can be leveraged by FoodSky to achieve deep understanding of food-related data. We then propose Topic-based Selective State Space Model (TS3M) and the Hierarchical Topic Retrieval Augmented Generation (HTRAG) mechanism to enhance FoodSky in capturing fine-grained food semantics and generating context-aware food-relevant text, respectively. Our extensive evaluations demonstrate that FoodSky significantly outperforms general-purpose LLMs in both chef and dietetic examinations, with an accuracy of 67.2% and 66.4% on the Chinese National Chef Exam and the National Dietetic Exam, respectively. FoodSky not only promises to enhance culinary creativity and promote healthier eating patterns, but also sets a new standard for domain-specific LLMs that address complex real-world issues in the food domain. An online demonstration of FoodSky is available at http://222.92.101.211:8200.

연구 동기 및 목표

• 중국어 맥락에서 복잡한 음식 및 영양학 추론 작업에 특화된 도메인 전용 LLM을 개발하는 것.
• 문화적, 식사 및 의학 지식을 통합하여 기존 LLM의 요리 및 영양 응용 분야에 대한 격차를 해소하는 것.
• 신규 아키텍처와 데이터 코어닝을 통해 세분화된 음식 의미론과 맥락 인식 생성 능력을 향상시키는 것.
• 일반 목적의 LLM과 비교해 표준화된 시험에서 음식 및 영양학 분야에서 뛰어난 성능을 보여주는 것.
• 음식 지능 응용을 위한 공개 접근이 가능하고 오픈소스 기초 모델을 제공하는 것.

제안 방법

• 요리, 영양학, 의학 데이터베이스 등 권위 있는 자료에서 수집한 종합적인 중국어 음식 어휘집인 FoodEarth 구축.
• 주제 인식 상태공간 메커니즘을 통해 계층적이고 세분화된 음식 의미론을 포착하기 위한 주제 기반 선택적 상태공간 모델(TS3M) 설계.
• 텍스트 생성 이전에 관련 주제별 지식을 검색하여 사실적 일관성과 관련성 향상을 도모하기 위한 계층적 주제 검색 증강 생성(HTRAG) 개발.
• GPT-4, MOSS, BELLE 등 다양한 출처의 커리레이티드 중국어 지시 데이터셋을 활용한 FoodSky의 지시 튜닝, 음식 전용 키워드 필터링 적용.
• 계층적 주제 구조와 검색 증강 생성을 통합하여 복잡한 식사 및 요리 질문에 대한 추론 능력을 향상시키는 것.
• 요리 및 영양학 분야의 표준화된 국가 시험을 통한 평가로 실제 성능을 벤치마킹하는 것.

Figure 1: The potential applications of the proposed food-oriented LLM FoodSky in different scenarios.

실험 결과

연구 질문

• RQ1 음식 전용 LLM이 국가 수준의 요리 및 영양사 시험에서 전문가 수준의 성능을 달성할 수 있는가?
• RQ2 주제 인식 검색 및 생성은 음식 관련 추론 작업의 사실 정확도와 관련성 향상에 어떻게 기여하는가?
• RQ3 커리레이티드 도메인 전용 어휘집은 일반 기반 LLM과 비교해 추론 능력을 얼마나 향상시키는가?
• RQ4 TS3M 아키텍처는 요리, 영양학, 건강을 포함한 다중 도메인 맥락에서 세분화된 의미 모델링을 어떻게 향상시키는가?
• RQ5 검색 증강 생성 프레임워크는 복잡하고 맥락 민감한 식이 조언을 효과적으로 지원할 수 있는가?

주요 결과

• FoodSky는 중국 국립 요리사 시험에서 67.2%의 정확도를 기록하여 일반 목적의 LLM보다 뚜렷이 뛰어난 성능을 보였다.
• FoodSky는 국립 영양사 시험에서 66.4%의 정확도를 기록하여 임상 및 영양학적 추론 능력에서 강력한 성능을 입증했다.
• HTRAG 메커니즘이 환자, 임산부, 노인 등 다양한 사용자 집단에서 응답의 관련성과 사실적 일관성을 향상시켰다.
• 정성 평가에서 모든 사용자 집단 유형에서 기준 모델 대비 FoodSky가 더 간결하고 정확한 답변을 제공했다.
• TS3M 아키텍처는 특히 요리, 영양학, 건강을 포함한 다중 도메인 맥락에서 세분화된 음식 의미론 모델링 능력을 향상시켰다.
• 표준화된 시험에서의 성능은 모델이 복잡한 실생활 음식 및 영양학 추론 작업을 처리할 수 있음을 확인시켰다.

Figure 2: The pipeline of establishing FoodEarth includes data source sorting, data annotation and similarity-based data screening. The semi-automated data filtering and annotation are the main procedures in data annotation. The AHC refers to the Agglomerative Hierarchical Clustering approach.