[논문 리뷰] NutriBench: A Dataset for Evaluating Large Language Models on Nutrition Estimation from Meal Descriptions

Andong Hua, Mehak Preet Dhaliwal외 3명|ArXiv.org|2024. 07. 04.

Culinary Culture and TourismAgricultural and Biological Sciences인용 수 3

한 줄 요약

NutriBench는 자연어로 된 식사 기술에 대한 영양 추정을 평가하기 위한 공개된 최초의 벤치마크로, 15개의 복잡도 기반 하위집합에 걸쳐 5,000개의 인간 검증 식사 기술과 근원질 및 칼로리 레이블을 포함한다. 체인 오브 써포트(Chain-of-Thought) 프롬프팅을 사용한 GPT-3.5는 복잡한 질의에서 전문 영양사보다 빠르고 정확도가 높았다.

ABSTRACT

Accurate nutrition estimation helps people make informed dietary choices and is essential in the prevention of serious health complications. We present NutriBench, the first publicly available natural language meal description nutrition benchmark. NutriBench consists of 11,857 meal descriptions generated from real-world global dietary intake data. The data is human-verified and annotated with macro-nutrient labels, including carbohydrates, proteins, fats, and calories. We conduct an extensive evaluation of NutriBench on the task of carbohydrate estimation, testing twelve leading Large Language Models (LLMs), including GPT-4o, Llama3.1, Qwen2, Gemma2, and OpenBioLLM models, using standard, Chain-of-Thought and Retrieval-Augmented Generation strategies. Additionally, we present a study involving professional nutritionists, finding that LLMs can provide comparable but significantly faster estimates. Finally, we perform a real-world risk assessment by simulating the effect of carbohydrate predictions on the blood glucose levels of individuals with diabetes. Our work highlights the opportunities and challenges of using LLMs for nutrition estimation, demonstrating their potential to aid professionals and laypersons and improve health outcomes. Our benchmark is publicly available at: https://mehak126.github.io/nutribench.html

연구 동기 및 목표

• 자연어 기반 영양 추정을 위한 LLM 평가를 위한 벤치마크 부족 문제를 해결하기 위해.
• 다양하고 인간 검증된 5,000개의 식사 기술 데이터셋을 구축하여 근원질 및 칼로리 레이블을 제공함으로써 강력한 LLM 평가를 지원하기 위해.
• 다양한 복잡도 수준의 식사 기술(다중 식재료, 복수의 제공량, 제공량 크기 기술의 정밀도 포함)에서 최첨단 LLM의 성능을 평가하기 위해.
• 탄수화물 추정 작업에서 LLM과 인간 전문가 간 정확도, 속도, 스트레스 반응을 비교하기 위해.
• 향후 LLM 기반 식이 평가 및 임상 영양 적용 분야 연구를 위한 표준화된 벤치마크를 제공하기 위해.

제안 방법

• NutriBench 데이터셋은 식사 기술 수집, 전문가 검증, FoodData Central와 같은 권위 있는 영양 데이터베이스를 활용한 레이블링을 포함하는 다단계 과정을 통해 구축되었다.
• 5,000개의 식사 기술은 식재료 수, 제공량 수, 식재료 인기, 제공량 크기 기술의 정밀도 등 복잡도 요소에 따라 15개의 하위집합으로 분류되었다.
• 표준 프롬프팅, 체인 오브 써포트(Chain-of-Thought, CoT), 검색 기반 증강 생성(Retrieval-Augmented Generation, RAG), Few-shot 프롬프팅의 4가지 프롬프팅 전략을 사용해 GPT-3.5, Llama-3, MedAlpaca 등 7종의 최첨단 LLM을 평가하였다.
• 동일한 질의를 대상으로 10명의 비전문가와 한 명의 전문 영양사로 구성된 인간 연구를 수행하여 정확도, 소요 시간, 스트레스 수준을 비교하였다.
• 정확도, 응답률, 평균 절대 오차(MAE), 정규화 오차를 성능 측정 지표로 사용하였으며, 오차 분석은 하위집합 및 식품 카테고리별로 수행되었다.
• 탄수화물 함량 및 제공량 변동성과 같은 요소와 예측 오차 간 상관관계를 분석하기 위해 통계 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델(Large Language Models, LLMs)은 자연어로 기록된 식사 기술에서 근원질, 특히 탄수화물을 정확하게 추정할 수 있는가?
• RQ2 식사 기술의 복잡도 수준(예: 다중 식재료, 비표준 제공량 크기 등)에 따라 모델 성능은 어떻게 변하는가?
• RQ3 식사 영양 추정에서 LLM은 정확도, 속도, 일관성 측면에서 인간 전문가를 능가하는가?
• RQ4 체인 오브 써포트 및 검색 기반 증강 생성과 같은 프롬프팅 전략은 영양 추정에서 LLM 성능에 어떤 영향을 미치는가?
• RQ5 예측 오차는 진짜 근원질 함량과 어떻게 상관관계가 있는가, 특히 고탄수화물 식품의 경우 어떻게 되는가?

주요 결과

• GPT-3.5는 체인 오브 써포트 프롬프팅을 사용해 NutriBench 전체 벤치마크에서 최고의 정확도 51.48%를 기록했으며, 응답률은 89.80%였다.
• LLM은 정확도와 속도 측면에서 전문 영양사보다 뚜렷이 뛰어났으며, 90개의 질의를 2분 이내에 완료한 데 반해 영양사는 50분이 소요되었다.
• 진짜 탄수화물 함량이 높을수록 평균 절대 오차(MAE)가 증가하여 고탄수화물 식사에서 오차가 더 큰 것으로 나타났다.
• 다중 제공량 하위집합은 더 높은 정규화 오차를 보였으며, 주로 비표준 제공량 크기 기술에 대한 초기 예측 오류에서 기인했고, 계산 오류는 아니었다.
• LLM은 질의 길이에 관계없이 일관된 성능을 보였지만, 인간 참가자들은 더 복잡한 기술일수록 심리적 스트레스가 크게 증가함을 보고했다.
• 본 연구는 LLM이 제공량 크기가 표준 100g 기준에서 벗어나는 복잡한 실생활 식사 기술에 대해 인간 전문가보다 더 신뢰할 수 있음을 밝혔다.