[논문 리뷰] MUSEFood: Multi-sensor-based Food Volume Estimation on Smartphones

Junyi Gao, Weihao Tan외 3명|arXiv (Cornell University)|2019. 03. 18.

Nutritional Studies and Diet참고 문헌 25인용 수 9

한 줄 요약

MUSEFood는 기준 물체나 부피 레이블이 있는 학습 데이터가 필요 없이 스마트폰의 카메라, 마이크, loudspeaker를 활용한 다중 센서 융합 기반의 식품 부피 추정 시스템을 제안한다. 정확한 식품 분할을 위한 다중 작업 학습 프레임워크와 용기 형태를 고려한 차등 모델을 통해 MUSEFood는 다양한 식품 유형과 용기에서 높은 정확도와 빠른 속도를 달성하며, 최신 기술들을 능가한다.

ABSTRACT

Researches have shown that diet recording can help people increase awareness of food intake and improve nutrition management, and thereby maintain a healthier life. Recently, researchers have been working on smartphone-based diet recording methods and applications that help users accomplish two tasks: record what they eat and how much they eat. Although the former task has made great progress through adopting image recognition technology, it is still a challenge to estimate the volume of foods accurately and conveniently. In this paper, we propose a novel method, named MUSEFood, for food volume estimation. MUSEFood uses the camera to capture photos of the food, but unlike existing volume measurement methods, MUSEFood requires neither training images with volume information nor placing a reference object of known size while taking photos. In addition, considering the impact of different containers on the contour shape of foods, MUSEFood uses a multi-task learning framework to improve the accuracy of food segmentation, and uses a differential model applicable for various containers to further reduce the negative impact of container differences on volume estimation accuracy. Furthermore, MUSEFood uses the microphone and the speaker to accurately measure the vertical distance from the camera to the food in a noisy environment, thus scaling the size of food in the image to its actual size. The experiments on real foods indicate that MUSEFood outperforms state-of-the-art approaches, and highly improves the speed of food volume estimation.

연구 동기 및 목표

• 스마트폰 기반 식이 기록 애플리케이션에서 정확하고 편리한 식품 부피 추정 문제를 해결하기 위해.
• 기준 물체(예: 신용카드, 숟가락 등)나 부피 레이블이 있는 특수 학습 데이터에 의존하지 않도록 하기 위해.
• 다중 작업 학습을 통해 용기 형태 정보를 활용해 복잡한 배경에서의 식품 분할 정확도를 향상시키기 위해.
• 마이크와 스피커를 통한 초음파 기반 거리 측정을 이용해 이미지 내 식품 크기의 정밀한 스케일링을 가능하게 하기 위해.
• 다양한 식품 형태와 용기 유형에서 잘 작동하는 강건하고 일반화 능력이 뛰어난 시스템을 개발하기 위해.

제안 방법

• MUSEFood는 식품 분할과 용기 형태 예측을 동시에 수행하는 다중 작업 학습을 적용한 완전 컨volutional 네트워크(FCN)를 사용하여 분할 정확도를 향상시킨다.
• 다양한 용기 기하학적 형태에 적응하기 위해 차등 모델이 적용되어 용기 형태 변화로 인한 오차를 감소시킨다.
• 스마트폰의 마이크와 스피커를 활용한 초음파 기반 왕복 시간 측정을 통해 카메라에서 식품까지의 수직 거리를 추정하여 이미지 기반 측정의 정확한 스케일링을 가능하게 한다.
• 시각적 분할과 거리 추정을 융합하여 2차원 이미지 측정값을 실제 식품 부피로 변환한다.
• 기하학적 스케일링 모델을 사용해 분할된 식품 면적과 깊이 정보를 조합하여 식품 부피를 계산한다.
• FCN 기반 분할을 사용하여 효율적인 처리를 구현하였으며, 100장의 이미지를 약 10초 내에 처리할 수 있다.

실험 결과

연구 질문

• RQ1 스마트폰에서 다중 센서 융합이 기준 물체가 없이도 정확한 식품 부피 추정을 가능하게 할 수 있는가?
• RQ2 용기 형태 정보는 복잡한 환경에서 식품 분할 정확도를 어떻게 향상시킬 수 있는가?
• RQ3 초음파 기반 거리 측정이 실제 환경에서 신뢰할 수 있는 깊이 스케일링을 제공할 수 있는가?
• RQ4 제안된 다중 작업 학습 프레임워크는 기존의 Grabcut과 비교해 분할 속도와 정확도에서 어떻게 성능을 발휘하는가?
• RQ5 이 시스템은 다양한 식품 형태와 용기 유형에 대해 얼마나 잘 일반화되는가?

주요 결과

• MUSEFood는 모든 테스트 식품, 특히 비정형 형태의 식품에서도 기준 물체 기반 최신 기술보다 높은 부피 추정 정확도를 확보하였다.
• 다중 작업 학습 기반의 MFCN 모델은 단일 작업 FCN 및 Grabcut 기반 방법보다 높은 평균 교차율(мIoU)을 기록하였으며, MFCN-B 모델이 가장 뛰어난 성능을 보였다.
• FCN 기반 분할은 100장의 이미지를 약 10초 내에 처리하여 가장 빠른 Grabcut 방법(27초)보다 훨씬 빠르면서도 더 높은 정확도를 달성하였다.
• 초음파 기반 거리 측정은 이미지 내 식품 크기의 정확한 스케일링을 가능하게 하여 물리적 기준 물체가 필요 없게 하였다.
• MUSEFood는 플레이트와 bowel 모두에서 닭다리, 후라이드 패티, 죽 등 다양한 식품에서 높은 강건성과 낮은 오차를 보였다.
• 비정형 형태의 식품에 대해서도 기존 기준 방법보다 훨씬 낮은 오차율을 기록하며 높은 정확도를 유지하였다.