[論文レビュー] NUTRIVISION: A System for Automatic Diet Management in Smart Healthcare

Madhumita Veeramreddy, Ashok Kumar Pradhan+3 more|arXiv (Cornell University)|Sep 30, 2024

Mobile Health and mHealth ApplicationsHealth Professions被引用数 3

ひとこと要約

NutriVisionは、スマートフォンの画像から食物を自動で検出・部位サイズを推定し、個別化された栄養分析と食事アドバイスを提供する知能型ヘルスケアシステムである。Faster R-CNNを基盤とするコンピュータビジョンと機械学習を活用し、YOLO、Mask R-CNN、従来のCNNと比較して、食物検出精度において優れたF1スコア、精度、再現率を達成している。また、ユーザー固有の健康データを統合することで、個別化された食事指導を実現している。

ABSTRACT

Maintaining health and fitness through a balanced diet is essential for preventing non communicable diseases such as heart disease, diabetes, and cancer. NutriVision combines smart healthcare with computer vision and machine learning to address the challenges of nutrition and dietary management. This paper introduces a novel system that can identify food items, estimate quantities, and provide comprehensive nutritional information. NutriVision employs the Faster Region based Convolutional Neural Network, a deep learning algorithm that improves object detection by generating region proposals and then classifying those regions, making it highly effective for accurate and fast food identification even in complex and disorganized meal settings. Through smartphone based image capture, NutriVision delivers instant nutritional data, including macronutrient breakdown, calorie count, and micronutrient details. One of the standout features of NutriVision is its personalized nutritional analysis and diet recommendations, which are tailored to each user's dietary preferences, nutritional needs, and health history. By providing customized advice, NutriVision helps users achieve specific health and fitness goals, such as managing dietary restrictions or controlling weight. In addition to offering precise food detection and nutritional assessment, NutriVision supports smarter dietary decisions by integrating user data with recommendations that promote a balanced, healthful diet. This system presents a practical and advanced solution for nutrition management and has the potential to significantly influence how people approach their dietary choices, promoting healthier eating habits and overall well being. This paper discusses the design, performance evaluation, and prospective applications of the NutriVision system.

研究の動機と目的

• 既存の食事記録システムにおける手動による食物記録の限界を解消し、完全に自動化された画像ベースの栄養評価を実現すること。
• 複雑で現実的かつ多様な食事状況における食物検出と部位サイズ推定の正確性と信頼性を向上させること。
• BMI、食事嗜好、疾患歴などの個別健康プロファイルに基づいて、パーソナライズされた食事アドバイスを提供すること。
• 手動でのデータ入力を排除し、即時の実行可能なフィードバックを提供することで、ユーザーの負担を軽減し、継続的な遵守を促進すること。
• ユーザーのフィードバックの統合と動的な推薦の適応により、栄養意思決定を強化すること。

提案手法

• 本システムは、高精度な物体検出モデルとしてのFaster R-CNNを採用し、ユーザーが撮影した画像内の食物を正確に同定・局所化する。
• 食物の体積は画像特徴から推定され、学習済みの回帰モデルを用いて重量に変換され、部位サイズの定量化が可能になる。
• 炭水化物・たんぱく質・脂質・カロリー・ミネラルなどの栄養情報は、検出された食品項目と関連付けられた包括的な食品データベースから自動抽出される。
• ユーザー固有のデータ（BMI、健康履歴、食事嗜好など）を分析し、フィードバック駆動型の適応エンジンを用いてパーソナライズされた推薦を生成する。
• ユーザーのフィードバックを受けて、将来の推薦を動的に改善するフィードバックループをシステムに統合する。
• YOLO、Mask R-CNN、従来のCNNと比較するため、複数の学習エポックにわたり標準的な物体検出指標（精度、再現率、F1スコア）を用いて評価が実施される。

実験結果

リサーチクエスチョン

• RQ1 Faster R-CNNは、実世界の食事画像から食物を検出する際、YOLO、Mask R-CNN、従来のCNNと比較して、どのような性能を示すか？
• RQ2 外部基準が存在しない単一のスマートフォン画像から、食物の部位サイズをどれほど正確に推定できるか？
• RQ3 BMIや食事嗜好などのユーザーの健康データの統合は、パーソナライズされ実行可能である食事アドバイスの生成に、どの程度効果的か？
• RQ4 フィードバック駆動型の推薦エンジンは、時間の経過とともに、推薦の関連性とユーザーの遵守度を向上させられるか？
• RQ5 自動栄養分析の導入が、ユーザーの関与度および長期的な食事行動の変化に与える影響は何か？

主な発見

• Faster R-CNNは、すべての評価指標において最高のF1スコアを達成し、精度と再現率のバランスに優れていることが示された。
• F1スコア vs. エポックのグラフから、Faster R-CNNが収束性と正確性において、YOLO、Mask R-CNN、従来のCNNを一貫して上回っていることが確認された。
• Faster R-CNNは、時間の経過とともに最も高い精度と再現率を示し、複雑な食事状況下でも信頼性が高く安定した検出性能を発揮した。
• 特に散らかった状態や混雑した食事環境において、ベースラインモデルと比較して、検出精度が顕著に向上した。
• ユーザーの健康プロファイルとフィードバックに基づくパーソナライズされた推薦は、ユーザーの関与度の向上とシステムの適応性を高めることを示した。
• 本システムは、手動による食物記録への依存を著しく低減し、即時の栄養フィードバックを可能にした。これにより、より健康的な食事選択が支援された。