[論文レビュー] Deep Learning-Based Food Calorie Estimation Method in Dietary Assessment

Yanchao Liang, Jianhua Li|arXiv (Cornell University)|Jun 10, 2017

Nutritional Studies and Diet参考文献 11被引用数 17

ひとこと要約

本稿では、上位および側面画像を用いた深層学習ベースの食品カロリー推定手法を提案する。物体検出にFaster R-CNN、正確なセグメンテーションにGrabCutを組み合わせることで、体積およびカロリー推定の精度を向上させる。本手法は、大多数の食品種別で±20%以内の平均体積誤差を達成し、自動的栄養評価における有効性を示している。

ABSTRACT

Obesity treatment requires obese patients to record all food intakes per day. Computer vision has been introduced to estimate calories from food images. In order to increase accuracy of detection and reduce the error of volume estimation in food calorie estimation, we present our calorie estimation method in this paper. To estimate calorie of food, a top view and side view is needed. Faster R-CNN is used to detect the food and calibration object. GrabCut algorithm is used to get each food's contour. Then the volume is estimated with the food and corresponding object. Finally we estimate each food's calorie. And the experiment results show our estimation method is effective.

研究の動機と目的

• 体積推定の誤差を低減することで、栄養評価における食品カロリー推定の精度を向上させること。
• 人為的補正に依存しない、最小限のユーザー入力を要する自動化システムの開発。
• 深層学習を用いて多様な食品種別における物体検出およびセグメンテーションを向上させること。
• 多様な一般的な食品において、体積および質量推定の性能を評価すること。
• 肥満管理のための実用的でスケーラブルなソリューションを、自動食品摂取記録を通じて提供すること。

提案手法

• 本手法は、上位視点および側面視点の2枚の入力画像を用いる。各画像には、スケール推定用のキャリブレーションオブジェクト（1元コイン）が含まれている。
• 物体検出にFaster R-CNNを採用し、食品アイテムおよびキャリブレーションオブジェクトを特定。クラスラベル付きのバウンディングボックスを出力する。
• 検出されたバウンディングボックスに対してGrabCutアルゴリズムを適用し、背景ピxlsを除いた正確な食品の輪郭を抽出する。
• 分類された食品の形状（例：楕円体、円柱、不規則形状）に応じた形状固有の公式を用いて体積を推定。スケーリングにはキャリブレーションオブジェクトを適用する。
• 推定された体積に栄養データベースから得た既知の食品密度を乗算することでカロリーを計算する。
• 両視点における検出されたキャリブレーションオブジェクトからスケール要因を導出することで、体積推定におけるメトリックの正確性を保証する。

実験結果

リサーチクエスチョン

• RQ1 二重画像（上位および側面視点）アプローチは、単一視点手法と比較して、体積推定の正確性を向上させることができるか？
• RQ2 Faster R-CNNによる検出とGrabCutによるセグメンテーションを組み合わせることで、食品の体積および質量推定の誤差はどの程度低減されるか？
• RQ3 形状固有の体積モデルとキャリブレーションオブジェクトを用いることで、カロリー推定はどの程度正確になるか？
• RQ4 形状や密度が異なる多様な食品種別において、本手法は低誤差を維持できるか？
• RQ5 ユーザーが前景／背景ラベルを提供する必要がない状態でも、本システムは信頼性のある結果を達成できるか？

主な発見

• 全食品種別における平均体積誤差は、バナナ、パン、グレープ、プラムを除き、ほとんどの食品で±20%以内であった。
• レモンに関しては体積推定誤差がたった3.88%にとどまり、球形の食品では高い正確性を示した。
• 質量推定誤差は体積推定の傾向をよく追っており、大多数の値が真の質量の±20%以内であった。
• りんごでは平均体積誤差が-11.59%、バナナでは-13.14%を記録し、一般的な食品において一貫した性能を示した。
• ムーンキャンディおよびトマトに関しては、質量推定誤差が体積推定誤差よりも低く、排水法による体積測定法に潜在的な不正確さがある可能性を示唆した。
• 本システムは、形状が規則的な食品に対して特に顕著な頑健性と実用性を示し、自動栄養評価において高い実用性を有している。