[論文レビュー] MUSEFood: Multi-sensor-based Food Volume Estimation on Smartphones

Junyi Gao, Weihao Tan+3 more|arXiv (Cornell University)|Mar 18, 2019

Nutritional Studies and Diet参考文献 25被引用数 9

ひとこと要約

MUSEFoodは、参照物体やボリュームラベル付きのトレーニングデータを必要とせず、カメラ、マイク、スピーカーを活用したマルチセンサーフュージョンに基づくスマートフォンベースの食品体積推定システムを提案する。食品セグメンテーションの高精度を実現するためのマルチタスク学習フレームワークと、容器の形状を補正する微分モデルを用いることで、多様な食品種類や容器タイプにおいて、最先端の手法を上回る高い精度と高速性を達成する。

ABSTRACT

Researches have shown that diet recording can help people increase awareness of food intake and improve nutrition management, and thereby maintain a healthier life. Recently, researchers have been working on smartphone-based diet recording methods and applications that help users accomplish two tasks: record what they eat and how much they eat. Although the former task has made great progress through adopting image recognition technology, it is still a challenge to estimate the volume of foods accurately and conveniently. In this paper, we propose a novel method, named MUSEFood, for food volume estimation. MUSEFood uses the camera to capture photos of the food, but unlike existing volume measurement methods, MUSEFood requires neither training images with volume information nor placing a reference object of known size while taking photos. In addition, considering the impact of different containers on the contour shape of foods, MUSEFood uses a multi-task learning framework to improve the accuracy of food segmentation, and uses a differential model applicable for various containers to further reduce the negative impact of container differences on volume estimation accuracy. Furthermore, MUSEFood uses the microphone and the speaker to accurately measure the vertical distance from the camera to the food in a noisy environment, thus scaling the size of food in the image to its actual size. The experiments on real foods indicate that MUSEFood outperforms state-of-the-art approaches, and highly improves the speed of food volume estimation.

研究の動機と目的

• スマートフォンベースの食事記録アプリケーションにおける正確で使いやすい食品体積推定の課題を解決すること。
• 参照物体（例：クレジットカード、はし）やボリュームラベル付きの特別なトレーニングデータに依存しないようにすること。
• マルチタスク学習を活用し、容器の形状情報を活用することで、複雑な背景における食品セグメンテーションの精度を向上させること。
• マイクとスピーカーを用いた超音波ベースの距離測定により、画像上の食品サイズを正確にスケーリングすること。
• さまざまな食品形状や容器タイプにわたって良好に動作する、強固で汎用性の高いシステムを開発すること。

提案手法

• MUSEFoodは、食品セグメンテーションと容器形状予測を同時に最適化するための完全畳み込みネットワーク（FCN）とマルチタスク学習を採用し、セグメンテーション精度を向上させる。
• 異なる容器の幾何形状に適応するため、微分モデルが適用され、容器形状のばらつきによって生じる誤差を低減する。
• スマートフォンのマイクとスピーカーを用いた超音波ベースの往復時間測定により、カメラから食品までの垂直距離を推定し、画像測定値の正確なスケーリングを可能にする。
• 視覚的セグメンテーションと距離推定を統合することで、2次元画像測定値を実世界の食品体積に変換する。
• 幾何的スケーリングモデルを用い、セグメンテーションされた食品面積と深度情報を組み合わせて、食品体積を計算する。
• 本手法は効率的であり、FCNベースのセグメンテーションにより、100枚の画像を約10秒で処理できる。

実験結果

リサーチクエスチョン

• RQ1 スマートフォン上でのマルチセンサーフュージョンにより、参照物体を必要とせずに正確な食品体積推定が可能になるか？
• RQ2 容器の形状情報は、複雑なシーンにおける食品セグメンテーション精度をどのように向上させるか？
• RQ3 超音波ベースの距離測定は、実環境において信頼性のある深度スケーリングを提供できるか？
• RQ4 提案されたマルチタスク学習フレームワークは、従来の手法（例：Grabcut）と比較して、セグメンテーションの速度と精度でどのように差をつけるか？
• RQ5 本システムは、さまざまな食品形状や容器タイプにどの程度一般化して動作するか？

主な発見

• MUSEFoodは、不規則な形状の食品を含む、すべてのテスト食品において、最先端の参照物体ベース手法を上回る食品体積推定の正確性を達成した。
• マルチタスク学習に基づくMFCNモデルは、単一タスクのFCNやGrabcutベースの手法よりも高い平均交差率（mIoU）を達成し、特にMFCN-Bが最良の性能を示した。
• FCNベースのセグメンテーションは100枚の画像を約10秒で処理でき、最も高速なGrabcut手法（27秒）よりも顕著に高速でありながら、高い正確性を達成した。
• 超音波ベースの距離測定により、画像上の食品サイズの正確なスケーリングが可能になり、物理的参照物体の必要性が排除された。
• MUSEFoodは、皿やボウルの両方で、チキンの drumstick やフライドポーク、粥（congee）など多様な食品種類において、強力で低誤差の性能を示した。
• 不規則な形状の食品に対しても、ベースライン手法と比較して顕著に低い誤差率を維持し、高い正確性を発揮した。