[論文レビュー] Using Distance Estimation and Deep Learning to Simplify Calibration in Food Calorie Measurement

Pallavi Kuhad, Abdulsalam Yassine+1 more|arXiv (Cornell University)|Feb 11, 2015

Nutritional Studies and Diet参考文献 6被引用数 12

ひとこと要約

本稿では、距離推定とモバイルクラウドコンピューティングを活用したディープラーニングベースの手法を提案し、モバイル画像ベースのカロリー測定における完全自動で使いやすい食品の量の補正を実現する。デバイス内でのサイズ補正とクラウド処理を統合することで、本手法は部位推定において平均95%の精度を達成し、従来の手法を著しく上回る。

ABSTRACT

High calorie intake in the human body on the one hand, has proved harmful in numerous occasions leading to several diseases and on the other hand, a standard amount of calorie intake has been deemed essential by dieticians to maintain the right balance of calorie content in human body. As such, researchers have proposed a variety of automatic tools and systems to assist users measure their calorie in-take. In this paper, we consider the category of those tools that use image processing to recognize the food, and we propose a method for fully automatic and user-friendly calibration of the dimension of the food portion sizes, which is needed in order to measure food portion weight and its ensuing amount of calories. Experimental results show that our method, which uses deep learning, mobile cloud computing, distance estimation and size calibration inside a mobile device, leads to an accuracy improvement to 95% on average compared to previous work

研究の動機と目的

• モバイルベースの食品カロリー測定システムにおける正確な食品の量の補正の課題に対処すること。
• 食品の画像からの完全自動的な寸法推定を可能にすることで、手動補正にかかるユーザーの負担を軽減すること。
• 深度推定とディープラーニング技術を統合することで、カロリー推定の精度を向上させること。
• スケーラビリティとパフォーマンスを実現するため、モバイルクラウドコンピューティングを活用したリアルタイムでデバイス内での補正を可能にすること。

提案手法

• モバイルデバイスで撮影された画像から食品を識別するためのディープラーニングモデルを活用する。
• 幾何学的および深度推定技術を用いて、カメラと食品との距離を推定する。
• 推定された距離を基に、画像内の食品部位の物理的サイズを補正する。
• 複雑な計算をオフロードし、処理精度を向上させるためにモバイルクラウドコンピューティングを統合する。
• モバイルデバイス内でサイズ補正アルゴリズムを適用し、画像ベースの寸法を実世界の部位サイズに変換する。
• 画像認識、距離推定、サイズ補正を統合して重量を推定し、その後カロリー含量を計算する。

実験結果

リサーチクエスチョン

• RQ1 画像処理と深度推定を用いて、どのようにして食品の量の自動補正を達成できるか？
• RQ2 ディープラーニングとモバイルクラウドコンピューティングを統合することで、補正精度はどの程度向上するか？
• RQ3 完全自動で使いやすいシステムは、食品カロリー測定における手動入力への依存をどの程度軽減できるか？
• RQ4 距離推定は、モバイルアプリケーションにおける部位サイズ推定の精度にどのような影響を及えるか？

主な発見

• 提案手法は、食品の量の補正において平均95%の精度を達成し、従来の手法を著しく上回る。
• ディープラーニングと距離推定の統合により、ユーザー入力を一切不要な信頼性の高い自動補正が可能になる。
• モバイルクラウドコンピューティングにより処理効率が向上し、一般消費者用デバイスでもリアルタイム分析が可能になる。
• デバイス内でのサイズ補正により遅延が低減され、実用的な食品ログ記録の場面での使いやすさが向上する。
• 多様な食品種類や照明条件においても、本システムは頑健な性能を示す。
• 手動補正手順を排除することでユーザーの負担を軽減しながらも、高い精度を維持できる。