[논문 리뷰] An Artificial Intelligence-Based System for Nutrient Intake Assessment of Hospitalised Patients

Ya Lu, Thomai Stathopoulou외 7명|arXiv (Cornell University)|2019. 06. 07.

Nutrition and Health in Aging참고 문헌 11인용 수 3

한 줄 요약

이 논문은 식사 전후로 촬영한 RGB-깊이 영상 쌍을 사용하여 병원에 입원한 환자의 영양 섭취를 추정하는 인공지능 기반 시스템을 제시한다. 다중 작업 신경망과 3차원 표면 복원을 조합함으로써, 영양 추정 평균 오차가 15%에 도달하여 완전 자동화되고 정확하며 부담이 적은 식이 섭취 모니터링을 가능하게 한다.

ABSTRACT

Regular nutrient intake monitoring in hospitalised patients plays a critical role in reducing the risk of disease-related malnutrition (DRM). Although several methods to estimate nutrient intake have been developed, there is still a clear demand for a more reliable and fully automated technique, as this could improve the data accuracy and reduce both the participant burden and the health costs. In this paper, we propose a novel system based on artificial intelligence to accurately estimate nutrient intake, by simply processing RGB depth image pairs captured before and after a meal consumption. For the development and evaluation of the system, a dedicated and new database of images and recipes of 322 meals was assembled, coupled to data annotation using innovative strategies. With this database, a system was developed that employed a novel multi-task neural network and an algorithm for 3D surface construction. This allowed sequential semantic food segmentation and estimation of the volume of the consumed food, and permitted fully automatic estimation of nutrient intake for each food type with a 15% estimation error.

연구 동기 및 목표

• 병원 환자에서 영양 섭취를 모니터링하기 위한 신뢰할 수 있고 자동화된 방법의 부족을 해결하기 위해.
• 수동 식이 평가와 관련된 환자 및 의료진의 부담을 줄이기 위해.
• 최소한의 입력으로 높은 정확도로 영양 섭취를 추정할 수 있는 완전 자동화 시스템을 개발하기 위해.
• 학습 및 평가를 위해 사용할 수 있는 322건의 식사와 해당 영상 및 레시피가 함께 기록된 새로운 종류의 애너테이션 데이터베이스를 구축하기 위해.
• 식사 전후 영상에서 실시간으로 순차적인 의미적 음식 세분화 및 부피 추정을 가능하게 하기 위해.

제안 방법

• 시스템은 식사 전후로 촬영한 RGB-깊이 영상 쌍을 사용하여 식사 소비를 분석한다.
• 다중 작업 딥 신경망이 음식 항목의 동시에 의미적 세분화 및 3차원 표면 복원을 수행한다.
• 3차원 표면 구축은 깊이 데이터에서 소비된 음식의 부피를 추정하는 전용 알고리즘을 통해 달성된다.
• 시스템은 분할된 음식 영역과 레시피에 연결된 맞춤형 영양소 데이터베이스를 결합하여 각 음식 유형의 영양 섭취를 추정한다.
• 학습 및 평가는 새로 생성된 322건의 식사 데이터셋을 기반으로 하며, 이는 애너테이션된 영상과 레시피 데이터를 포함한다.
• 모델는 영양 성분 추정 오차를 최소화하도록 최적화되어 평균 오차율 15%를 달성한다.

실험 결과

연구 질문

• RQ1 AI 기반 시스템이 식사 전후 RGB-깊이 영상에서 영양 섭취를 정확하게 추정할 수 있는가?
• RQ2 다중 작업 신경망이 식이 평가를 위해 동시에 음식 세분화와 3차원 복원을 수행하는 데 얼마나 효과적인가?
• RQ3 깊이 데이터로부터의 자동 부피 추정이 영양 섭취 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 최소한의 인간 입력으로 완전 자동화 시스템을 사용할 때 도달할 수 있는 추정 오차 수준은 어느 정도인가?
• RQ5 새로운 애너테이션 처리된 식사 데이터베이스가 이러한 시스템의 신뢰할 수 있는 학습 및 평가를 지원할 수 있는가?

주요 결과

• 시스템은 모든 음식 유형에 걸쳐 평균 15%의 오차로 영양 섭취 추정을 달성하여 높은 정확도를 입증했다.
• 다중 작업 신경망은 영상 쌍에서 순차적인 의미적 음식 세분화 및 3차원 표면 복원을 성공적으로 수행했다.
• 깊이 데이터의 통합은 소비된 음식의 신뢰할 수 있는 부피 추정을 가능하게 하여 영양 계산의 핵심 요소가 되었다.
• 애너테이션된 영상과 레시피가 함께 기록된 322건의 식사로 구성된 새로 생성된 데이터셋은 학습 및 평가를 위한 견고한 기반을 제공했다.
• 시스템은 완전 자동화되고 부담이 적은 영양 섭취 모니터링을 가능하게 하여 수동 식이 기록에 대한 의존도를 감소시켰다.
• 확장성과 일관성 측면에서 전통적인 수동 평가에 비해 상당히 뛰어난 성능을 보였다.