[論文レビュー] Computer vision-based food calorie estimation: dataset, method, and experiment

Yanchao Liang, Jianhua Li|arXiv (Cornell University)|May 22, 2017

Nutritional Studies and Diet参考文献 5被引用数 31

ひとこと要約

本論文は、正確なカロリー推定のための体積および質量記録を備えた、公開可能な最初の食品画像データセットであるECUSTFDを紹介する。本研究では、物体検出にFaster R-CNN、セグメンテーションにGrabCutを用いたディープラーニングパイプラインを提案し、大部分の食品で±20%以内の誤差で体積推定に成功したが、バナナ、グレープ、月餅に関しては測定の困難さのため誤差が大きかった。

ABSTRACT

Computer vision has been introduced to estimate calories from food images. But current food image data sets don't contain volume and mass records of foods, which leads to an incomplete calorie estimation. In this paper, we present a novel food image data set with volume and mass records of foods, and a deep learning method for food detection, to make a complete calorie estimation. Our data set includes 2978 images, and every image contains corresponding each food's annotation, volume and mass records, as well as a certain calibration reference. To estimate calorie of food in the proposed data set, a deep learning method using Faster R-CNN first is put forward to detect the food. And the experiment results show our method is effective to estimate calories and our data set contains adequate information for calorie estimation. Our data set is the first released food image data set which can be used to evaluate computer vision-based calorie estimation methods.

研究の動機と目的

• 正確なカロリー推定のための体積および質量記録を含む包括的な食品画像データセットの不足に対処すること。
• ユーザーの支援を必要としない、自動化された食品画像からのカロリー推定を実現するコンピュータビジョンベースの手法を開発すること。
• 広く利用可能なキャリブレーションオブジェクト（1元人民元コイン）とディープラーニング技術を用いることで、カロリー推定の精度を向上させること。
• 将来的なコンピュータビジョンベースのカロリー推定システムの評価のためのベンチマークデータセットと手法を提供すること。

提案手法

• ECUSTFDデータセットは、19種類の食品の2,978枚の画像を含み、各画像に体積、質量、およびキャリブレーション用の1元人民元コインがアノテーションされている。
• Faster R-CNNを用いて、上下左右の視点画像において食品とキャリブレーションコインを検出することでスケール要因を特定する。
• GrabCutアルゴリズムを用いて、検出されたバウンディングボックス内から各食品の正確な輪郭を抽出するセグメンテーションを実行する。
• 各画像内のキャリブレーションコインから導出されたスケール要因に基づいて、幾何モデルを用いて体積を推定する。
• 推定された体積をもとに、既知の食品密度と栄養表と照合してカロリー値を計算する。
• 上下左右のペア画像を処理することで、3次元体積再構築と推定精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 標準的なキャリブレーションオブジェクトを用いた画像のみで、コンピュータビジョンベースのシステムが食品のカロリー摂取量を正確に推定できるか？
• RQ2 Faster R-CNNとGrabCutの組み合わせは、制約のない食品画像における食品の検出およびセグメンテーションにどの程度効果的か？
• RQ3 データセットに体積および質量記録を含めることで、自動カロリー推定の精度はどの程度向上するか？
• RQ4 本手法は、形状やテクスチャが多様な食品種類に対してどの程度の性能を示すか？
• RQ5 体積およびカロリー推定における主な誤差の原因は何か。それらは定量的に評価できるか？

主な発見

• 提案手法は、リンゴ、バナナ、パン、オレンジなど、大部分の食品種に対して±20%以内の体積推定誤差を達成した。
• 体積推定の平均誤差は、19種類の食品のうち16種類で±20%未満であり、全体的な性能が優れていることが示された。
• グレープ、バナナ、月餅では顕著な誤差が観察され、主に複数のグレープがくっついている際のすき間や不規則な形状に起因する測定アーチファクトが原因であった。
• 1元人民元コインをキャリブレーションオブジェクトとして用いることで、異なる画像視点間での一貫性あるスケール推定が可能になった。
• ECUSTFDデータセットは、カロリー推定評価のための真値体積および質量記録を備えた、公開済みの最初の食品画像データセットである。
• ユーザーによるセグメンテーション入力なしでカロリー値を正確に推定でき、完全に自動化された推定が実現した。