[논문 리뷰] Using Distance Estimation and Deep Learning to Simplify Calibration in Food Calorie Measurement

Pallavi Kuhad, Abdulsalam Yassine외 1명|arXiv (Cornell University)|2015. 02. 11.

Nutritional Studies and Diet참고 문헌 6인용 수 12

한 줄 요약

이 논문은 거리 추정과 모바일 클라우드 컴퓨팅을 활용한 딥러닝 기반 방법을 제안하여 모바일 기반 칼로리 측정에서 식품 분량을 완전히 자동화되고 사용자 친화적인 보정을 가능하게 한다. 디바이스 내 보정과 클라우드 처리를 통합함으로써, 이 방법은 분량 추정에서 평균 95%의 정확도를 달성하여 이전 방법들에 비해 크게 향상되었다.

ABSTRACT

High calorie intake in the human body on the one hand, has proved harmful in numerous occasions leading to several diseases and on the other hand, a standard amount of calorie intake has been deemed essential by dieticians to maintain the right balance of calorie content in human body. As such, researchers have proposed a variety of automatic tools and systems to assist users measure their calorie in-take. In this paper, we consider the category of those tools that use image processing to recognize the food, and we propose a method for fully automatic and user-friendly calibration of the dimension of the food portion sizes, which is needed in order to measure food portion weight and its ensuing amount of calories. Experimental results show that our method, which uses deep learning, mobile cloud computing, distance estimation and size calibration inside a mobile device, leads to an accuracy improvement to 95% on average compared to previous work

연구 동기 및 목표

• 모바일 기반 식품 칼로리 측정 시스템에서 정확한 식품 분량 보정의 과제를 해결한다.
• 사용자 수동 보정의 노력을 줄이기 위해 식품 이미지에서 완전히 자동화된 차원 추정을 가능하게 한다.
• 깊이 추정 및 딥러닝 기법을 통합하여 칼로리 측정 정확도를 향상시킨다.
• 확장성과 성능을 위해 모바일 클라우드 컴퓨팅을 활용한 실시간 디바이스 내 보정을 가능하게 한다.

제안 방법

• 모바일 기기에서 촬영한 이미지에서 식품 항목을 인식하기 위해 딥러닝 모델을 활용한다.
• 기하학적 및 깊이 추정 기법을 사용하여 카메라와 식품 사이의 거리를 추정한다.
• 추정된 거리를 활용해 이미지 내 식품 분량의 물리적 크기를 보정한다.
• 복잡한 계산을 오프로드하고 처리 정확도를 향상시키기 위해 모바일 클라우드 컴퓨팅을 통합한다.
• 이미지 기반 치수를 실제 분량 크기로 변환하기 위해 모바일 기기 내에서 크기 보정 알고리즘을 적용한다.
• 이미지 인식, 거리 추정, 크기 보정을 통합하여 무게를 추론하고 칼로리 함량을 계산한다.

실험 결과

연구 질문

• RQ1 이미지 처리와 깊이 추정을 활용해 식품 분량의 자동 보정을 어떻게 달성할 수 있는가?
• RQ2 딥러닝과 모바일 클라우드 컴퓨팅을 통합할 경우 보정 정확도는 어느 정도 향상되는가?
• RQ3 완전히 자동화되고 사용자 친화적인 시스템은 식품 칼로리 측정에서 수동 입력에 대한 의존도를 줄일 수 있는가?
• RQ4 거리 추정은 모바일 애플리케이션에서 분량 추정 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 식품 분량 보정에서 평균 95%의 정확도를 달성하여 이전 접근 방식에 비해 뚜렷이 뛰어나다.
• 딥러닝과 거리 추정의 통합은 사용자 입력 없이도 신뢰할 수 있는 자동 보정을 가능하게 한다.
• 모바일 클라우드 컴퓨팅은 처리 효율성을 향상시키고 소비자용 기기에서 실시간 분석을 지원한다.
• 디바이스 내 크기 보정은 지연 시간을 줄이고 실생활 식품 기록 시나리오에서의 사용성 향상에 기여한다.
• 다양한 식품 유형과 조명 조건에서도 높은 성능을 유지한다.
• 수동 보정 단계를 제거함으로써 사용자 부담을 줄였지만 높은 정확도를 유지한다.