[論文レビュー] Advancing Smart Malnutrition Monitoring: A Multi-Modal Learning Approach for Vital Health Parameter Estimation

Ashish Marisetty, Prathistith Raj M+3 more|arXiv (Cornell University)|Jul 31, 2023

Nutrition and Health in AgingMedicine被引用数 3

ひとこと要約

本稿では、1枚の全身画像から3次元再構成と統合された2次元顔面・身体埋め込みを用いて身長、体重、およびバイタルな健康パラメータ（BMI、BMR、BFP）を推定するマルチモodal学習フレームワークを提案する。平均絶対誤差が身長で±4.7 cm、体重で±5.3 kgという最先端の性能を達成し、リソースが限られた環境におけるスマートフォンベースの非侵襲的栄養不良モニタリングを可能にする。

ABSTRACT

Malnutrition poses a significant threat to global health, resulting from an inadequate intake of essential nutrients that adversely impacts vital organs and overall bodily functioning. Periodic examinations and mass screenings, incorporating both conventional and non-invasive techniques, have been employed to combat this challenge. However, these approaches suffer from critical limitations, such as the need for additional equipment, lack of comprehensive feature representation, absence of suitable health indicators, and the unavailability of smartphone implementations for precise estimations of Body Fat Percentage (BFP), Basal Metabolic Rate (BMR), and Body Mass Index (BMI) to enable efficient smart-malnutrition monitoring. To address these constraints, this study presents a groundbreaking, scalable, and robust smart malnutrition-monitoring system that leverages a single full-body image of an individual to estimate height, weight, and other crucial health parameters within a multi-modal learning framework. Our proposed methodology involves the reconstruction of a highly precise 3D point cloud, from which 512-dimensional feature embeddings are extracted using a headless-3D classification network. Concurrently, facial and body embeddings are also extracted, and through the application of learnable parameters, these features are then utilized to estimate weight accurately. Furthermore, essential health metrics, including BMR, BFP, and BMI, are computed to conduct a comprehensive analysis of the subject's health, subsequently facilitating the provision of personalized nutrition plans. While being robust to a wide range of lighting conditions across multiple devices, our model achieves a low Mean Absolute Error (MAE) of $\pm$ 4.7 cm and $\pm$ 5.3 kg in estimating height and weight.

研究の動機と目的

• 従来の栄養不良スクリーニング手法には専用機器が必要であり、遠隔地やパンデミック影響下の地域では現実的でないという限界を是正すること。
• 1枚の全身画像からBMI、BMR、BFPといった重要な健康パラメータを推定できる、非侵襲的かつスマートフォン搭載可能なシステムの開発。
• 既存の手法に見られる包括的な特徴表現の欠如および照明変動に対する脆弱性を克服すること。
• 外部センサーやインfraストラクチャに依存せずにエッジデバイス上でリアルタイムかつ自律的な健康パラメータ推定を実現すること。
• 視覚入力のみから正確なデータ駆動型健康指標推定を可能にし、個別化された栄養プランの提供を可能とすること。

提案手法

• 深層学習ベースの3次元再構成を用いて、1枚の全身画像から高精度な3次元点群を再構成する。
• 再構成された点群上で訓練されたヘッドレス3次元分類ネットワークを用いて、512次元の3次元特徴埋め込みを抽出する。
• 同じ画像から畳み込みニューラルネットワークを用いて2次元顔面および身体埋め込みを同時に抽出する。
• 学習可能なパラメータを用いて3次元、顔面、身体埋め込みを統合し、体重推定の精度を向上させる。
• 推定された身長と体重から導出される健康指標（身体質量指数（BMI）、基礎代謝量（BMR）、体脂肪率（BFP））を計算する。
• エッジデバイスプロトタイプにモデルをデプロイし、外部センサーやインターネット接続に依存せずにリアルタイムかつオンデバイス推論を可能にする。

Figure 1: Conceptual Overview

実験結果

リサーチクエスチョン

• RQ1 マルチモダル特徴統合を用いることで、1枚の全身画像から身長と体重の推定が正確に可能か？
• RQ2 3次元点群特徴と2次元顔面・身体埋め込みの統合は、単一モodal手法と比較して体重推定性能をどのように向上させるか？
• RQ3 実際の展開環境における照明条件やデバイス種別の変動に対して、本手法はどの程度頑健であるか？
• RQ4 追加のハードウェアやインfraストラクチャなしに、エッジデバイス上でリアルタイムかつ自律的な推論を達成できるか？
• RQ5 本手法は、非侵襲的栄養不良モニタリング分野において、既存手法と比較してBMI、BMR、BFPの推定性能でどの程度優れているか？

主な発見

• 提案手法は、身長推定で平均絶対誤差（MAE）が±4.7 cm、体重推定で±5.3 kgを達成し、先行研究を上回る性能を示した。
• 多様な照明条件や複数のデバイス種別に対しても頑健であることが実証され、実環境での信頼性ある展開が可能である。
• マルチモダル特徴のための学習可能な統合パラメータの使用により、体重推定精度が顕著に向上し、文献で報告された最低水準のMAE 5.3 kgを達成した。
• エッジデバイス上で自律的に動作し、外部センサーやインfraストラクチャの必要がないため、遠隔地やリソースが限られた環境において極めて重要である。
• 推定された身長と体重から導出される健康指標（BMI、BMR、BFP）は正確に計算されており、包括的な栄養不良リスク評価が可能である。
• エッジデプロイドプロトタイプにより、リアルタイムかつオンデバイスでの健康パラメータ推定が実現され、スケーラブルでプライバシー保護型のスマート栄養不良モニタリングを支援する。

Figure 2: Proposed System Overview