[논문 리뷰] Deep Learning-Based Food Calorie Estimation Method in Dietary Assessment

Yanchao Liang, Jianhua Li|arXiv (Cornell University)|2017. 06. 10.

Nutritional Studies and Diet참고 문헌 11인용 수 17

한 줄 요약

이 논문은 상단 및 측면 시각 이미지를 사용하여 식품 칼로리 추정을 위한 딥러닝 기반 방법을 제안한다. 객체 검출에 Faster R-CNN를, 정밀 분할에 GrabCut을 활용하여 부피 및 칼로리 추정 정확도를 향상시킨다. 대부분의 식품 유형에서 평균 부피 오차가 ±20% 이내에 머물러 있어 자동 식이 평가에서 효과적임을 입증한다.

ABSTRACT

Obesity treatment requires obese patients to record all food intakes per day. Computer vision has been introduced to estimate calories from food images. In order to increase accuracy of detection and reduce the error of volume estimation in food calorie estimation, we present our calorie estimation method in this paper. To estimate calorie of food, a top view and side view is needed. Faster R-CNN is used to detect the food and calibration object. GrabCut algorithm is used to get each food's contour. Then the volume is estimated with the food and corresponding object. Finally we estimate each food's calorie. And the experiment results show our estimation method is effective.

연구 동기 및 목표

• 부피 추정 오차를 줄임으로써 식이 평가에서 식품 칼로리 추정 정확도를 향상시키기.
• 사용자 입력 최소화를 통해 인간 보조 校정에 의존하지 않는 자동화 시스템을 개발하기.
• 딥러닝을 활용해 다양한 식품 유형의 객체 검출 및 분할을 향상시키기.
• 다양한 일반 식품에 대해 부피 및 질량 추정 성능 평가하기.
• 비만 관리에 실용적이고 확장 가능한 솔루션을 제공하기 위해 자동 식이 기록을 구현하기.

제안 방법

• 이 방법은 상단 시각 및 측면 시각 이미지 두 장을 입력으로 사용하며, 각각 캘리브레이션 물체(1위안 동전)를 포함하여 척도 추정을 수행한다.
• Faster R-CNN을 사용해 객체 검출을 수행하여 식품 항목과 캘리브레이션 물체를 식별하고, 클래스 레이블이 부여된 바운딩 박스를 출력한다.
• GrabCut 알고리즘이 검출된 바운딩 박스에 대해 이미지 분할을 수행하여 배경 픽셀을 제외한 정밀한 식품 윤곽을 추출한다.
• 분할된 식품 형태에 따라 형상별 공식(예: 타원체, 실린더, 비정형)을 사용해 부피를 추정하며, 캘리브레이션 물체를 활용해 척도를 적용한다.
• 식품 밀도를 영양소 데이터베이스에서 확보한 값과 추정된 부피를 곱하여 칼로리를 계산한다.
• 두 시각 모두에서 검출된 캘리브레이션 물체로부터 척도 요소를 유도하여 부피 추정의 정량적 정확도를 확보한다.

실험 결과

연구 질문

• RQ1 단일 시각 방법과 비교해 이중 시각(상단 및 측면 시각) 접근 방식이 부피 추정 정확도를 향상시키는가?
• RQ2 Faster R-CNN 검출과 GrabCut 분할의 조합이 식품 부피 및 질량 추정 오차를 어느 정도 감소시키는가?
• RQ3 형상별 부피 모델과 캘리브레이션 물체를 사용할 경우 칼로리 추정 정확도는 어느 정도인가?
• RQ4 다양한 형태와 밀도를 가진 식품 유형 전반에서 이 방법이 낮은 오차를 유지하는가?
• RQ5 사용자가 전경/배경 레이블을 제공하지 않아도 시스템이 신뢰할 만한 결과를 도출할 수 있는가?

주요 결과

• 모든 식품 유형에 걸쳐 평균 부피 오차는 대부분의 품목에서 ±20% 이내였으며, 바나나, 빵, 포도, 살구만 이 기준을 초과했다.
• 레몬의 경우 부피 추정 오차가 단지 3.88%에 머물러 구형 식품에 대해 매우 높은 정확도를 보였다.
• 질량 추정 오차는 부피 추정 추세와 거의 일치했으며, 대부분의 값이 진짜 질량의 ±20% 이내였다.
• 사과의 경우 평균 부피 오차가 -11.59%였고, 바나나의 경우 -13.14%였으며, 일반 식품에 대해 일관된 성능을 보였다.
• 마오фан과 토마토의 경우 질량 추정 오차가 부피 추정 오차보다 낮아, 배수 기반 부피 측정 방법에 잠재적인 정확도 오류가 있음을 시사했다.
• 이 시스템은 규칙적인 형태를 가진 식품에 특히 유용하며, 자동 식이 평가에 대해 뛰어난 내구성과 실용성을 입증했다.