[論文レビュー] An Artificial Intelligence-Based System for Nutrient Intake Assessment of Hospitalised Patients

Ya Lu, Thomai Stathopoulou+7 more|arXiv (Cornell University)|Jun 7, 2019

Nutrition and Health in Aging参考文献 11被引用数 3

ひとこと要約

本論文では、入院患者の食事摂取量をRGB-深度画像のペア（食事前後）を用いてAI駆動で推定するシステムを提案する。マルチタスクニューラルネットワークと3次元表面再構成を組み合わせることで、栄養素推定の平均誤差が15%にまで低下し、完全自動的かつ高精度で負担の少ない食事摂取量のモニタリングを実現する。

ABSTRACT

Regular nutrient intake monitoring in hospitalised patients plays a critical role in reducing the risk of disease-related malnutrition (DRM). Although several methods to estimate nutrient intake have been developed, there is still a clear demand for a more reliable and fully automated technique, as this could improve the data accuracy and reduce both the participant burden and the health costs. In this paper, we propose a novel system based on artificial intelligence to accurately estimate nutrient intake, by simply processing RGB depth image pairs captured before and after a meal consumption. For the development and evaluation of the system, a dedicated and new database of images and recipes of 322 meals was assembled, coupled to data annotation using innovative strategies. With this database, a system was developed that employed a novel multi-task neural network and an algorithm for 3D surface construction. This allowed sequential semantic food segmentation and estimation of the volume of the consumed food, and permitted fully automatic estimation of nutrient intake for each food type with a 15% estimation error.

研究の動機と目的

• 入院患者の栄養素摂取量を正確に自動的にモニタリングするための信頼性のある手法の不足に対処すること。
• 手動による食事評価に伴う患者および医療スタッフの負担を軽減すること。
• 最小限の入力で高精度な栄養素摂取量推定を実現する完全自動化システムの開発。
• 訓練および評価用に使用可能な、322食分の新しいアノテーション付きデータベース（画像およびレシピを含む）の構築。
• 食事前後画像から、リアルタイムで順次的で意味的な食品セグメンテーションと体積推定を実現すること。

提案手法

• 本システムは、食事前後におけるRGB-深度画像のペアを用いて、食品摂取状況を分析する。
• マルチタスクディープニューラルネットワークが、食品項目の同時的意味的セグメンテーションと3次元表面再構成を実行する。
• 3次元表面再構成は、深度データから消費された食品の体積を推定するための専用アルゴリズムによって達成される。
• システムは、セグメンテーションされた食品領域と、レシピにリンクされたカスタム栄養素データベースを組み合わせることで、各食品種別の栄養素摂取量を推定する。
• 訓練および評価は、新たに作成された322食分のアノテーション付き画像およびレシピデータを含むデータセットに基づく。
• モデルは栄養素含有量の推定誤差を最小化するように最適化され、平均誤差率15%を達成した。

実験結果

リサーチクエスチョン

• RQ1 AIベースのシステムは、食事前後におけるRGB-深度画像から栄養素摂取量を正確に推定できるか？
• RQ2 マルチタスクニューラルネットワークは、食事評価のための食品セグメンテーションと3次元再構成を同時に効果的に行えるか？
• RQ3 深度データからの自動体積推定は、栄養素摂取量の推定精度をどの程度向上できるか？
• RQ4 最小限の人的入力で、完全自動化されたシステムが達成できる推定誤差の水準はどの程度か？
• RQ5 新規に作成されたアノテーション付きの食事データベースは、このようなシステムの信頼性ある訓練および評価を可能にするか？

主な発見

• 本システムは、全食品種別において15%の平均誤差で栄養素摂取量を推定し、高い精度を示した。
• マルチタスクニューラルネットワークは、画像ペアからの順次的意味的食品セグメンテーションと3次元表面再構成を効果的に実行した。
• 深度データの統合により、消費された食品の信頼性の高い体積推定が可能になり、栄養素計算の重要な要因となった。
• アノテーション付き画像およびレシピを含む322食分の新規データセットは、訓練および評価の強固な基盤を提供した。
• 本システムは、完全自動的かつ低負担の栄養素摂取量モニタリングを可能にし、手動による食事記録への依存を軽減した。
• 本アプローチは、スケーラビリティと一貫性の観点から、従来の手動評価を著しく上回った。