[논문 리뷰] Nutrition5k: Towards Automatic Nutritional Understanding of Generic Food

Quin Thames, Arjun Karpur외 5명|arXiv (Cornell University)|2021. 03. 04.

Nutritional Studies and Diet참고 문헌 19인용 수 12

한 줄 요약

Nutrition5k는 5,000개의 실제 세계의 일반 음식 요리에 대해 고정확도 영양 정보 주석, RGB 영상, 깊이 이미지 및 구성 요소 무게를 포함한 새로운 데이터셋을 소개합니다. 이 연구는 이 데이터로 훈련된 딥 러닝 모델이 전문 영양사보다 칼로리 및 근원질 함량 예측을 더 정확하게 할 수 있음을 입증하였으며, 깊이 데이터는 부분 크기 추정을 크게 향상시켰습니다.

ABSTRACT

Understanding the nutritional content of food from visual data is a challenging computer vision problem, with the potential to have a positive and widespread impact on public health. Studies in this area are limited to existing datasets in the field that lack sufficient diversity or labels required for training models with nutritional understanding capability. We introduce Nutrition5k, a novel dataset of 5k diverse, real world food dishes with corresponding video streams, depth images, component weights, and high accuracy nutritional content annotation. We demonstrate the potential of this dataset by training a computer vision algorithm capable of predicting the caloric and macronutrient values of a complex, real world dish at an accuracy that outperforms professional nutritionists. Further we present a baseline for incorporating depth sensor data to improve nutrition predictions. We will publicly release Nutrition5k in the hope that it will accelerate innovation in the space of nutritional understanding.

연구 동기 및 목표

• 일반 음식 요리의 자동 영양 이해를 위한 다양하고 정확하게 레이블이 부여된 데이터셋의 부족을 해결하기 위해.
• 기존 데이터셋이 부분 크기 및 정밀한 영양 정보 주석이 부족한 한계를 극복하기 위해.
• 실세계 레스토랑에서 점진적 체중 측정 및 스캔을 통해 확장 가능한 데이터 수집 방법을 개발하기 위해.
• 딥 러닝 모델을 훈련시켜 시각적 영양 추정에서 인간 영양사보다 뛰어난 성능을 내기 위해.
• 깊이 센서 데이터 통합을 통해 부분 크기 및 영양 예측 정확도를 향상시키기 위해.

제안 방법

• 접시에 재료가 추가될 때마다 점진적으로 체중 측정 및 스캔하여 실세계 레스토랑에서 데이터를 수집했습니다.
• 360도 영상 및 깊이 이미지를 촬영하기 위해 회전하는 RGB 카메라와 상부에 위치한 Intel RealSense 깊이 센서를 사용했습니다.
• 정확한 무게와 요리 데이터베이스를 활용해 총 영양 성분을 유도한 세부 재료 수준의 주석을 기록했습니다.
• 전체 칼로리 및 근원질 비율을 예측하기 위해 RGB 이미지에서 깊이 합성곱 신경망(CNN)을 훈련시켰습니다.
• 부분 크기 추정을 향상시키기 위해 깊이 데이터를 추가 입력 모odal로 확장한 모델을 개발했습니다.
• 점진적 스캔 간의 시간적 관계를 유지하면서 데이터셋을 훈련 및 테스트 세트로 분할했습니다.

Figure 1: Example representation of data contained in Nutrition5k .

실험 결과

연구 질문

• RQ1 실세계에서 고정확도로 수집된 데이터셋으로 훈련된 딥 러닝 모델이 전문 영양사보다 시각적 추정을 통해 칼로리 및 근원질 함량을 더 정확하게 예측할 수 있는가?
• RQ2 깊이 센서 데이터는 2D 이미지에서 부분 크기 및 영양 성분 예측 정확도 향상에 얼마나 효과적인가?
• RQ3 점진적 스캔 방법은 다양하고 현실적이며 정확하게 레이블이 부여된 음식 데이터 수집에 얼마나 기여하는가?
• RQ4 비전문가와 전문가 간의 시각적 부분 크기 추정 성능 격차는 얼마나 되며, 이를 데이터 주석에 신뢰성 있게 활용할 수 있는가?
• RQ5 단일 RGB 이미지로 훈련된 모델이 복잡한 일반 음식 요리의 영양 성분 예측에서 인간 전문가를 초월할 수 있는가?

주요 결과

• 딥 러닝 모델은 칼로리 예측에서 평균 절대 오차(MAE)가 13.4 kcal를 기록하여 비전문가(53% 오차)와 전문 영양사(41% 오차)의 시각적 추정을 모두 뛰어넘었습니다.
• 모델의 근원질 함량 예측 정확도는 전문 영양사의 성능을 초월하여 복잡한 실세계 요리에서 뛰어난 일반화 능력을 입증했습니다.
• 깊이 데이터를 통합함으로써 2D 모델 대비 질량 추정의 MAE가 40% 감소하여 부분 크기 예측 정확도가 크게 향상되었습니다.
• 인간의 부분 크기 추정은 매우 정확하지 않으며, 비전문가 평균 오차는 53%, 전문 영양사 평균 오차는 41%였습니다. 이는 인간 레이블링이 데이터 수집 방법으로 타당하지 않음을 시사합니다.
• Nutrition5k 데이터셋은 세분화된 재료 수준 주석, 구성 요소 무게, 고정확도 영양 값이 포함된 5,000개의 다양한 실세계 요리로 구성되어 있습니다.
• 이 데이터셋은 https://github.com/google-research-datasets/Nutrition5k 에 공개되어 자동 영양 이해 분야의 연구를 가속화하고 있습니다.

Figure 2: RGB image examples from Nutrition5k .