[논문 리뷰] Computer vision-based food calorie estimation: dataset, method, and experiment

Yanchao Liang, Jianhua Li|arXiv (Cornell University)|2017. 05. 22.

Nutritional Studies and Diet참고 문헌 5인용 수 31

한 줄 요약

이 논문은 정확한 칼로리 추정을 위한 부피 및 질량 기록이 포함된 공개된 음식 이미지 데이터셋인 ECUSTFD를 소개한다. 음식 물체 검출을 위해 Faster R-CNN을, 분할을 위해 GrabCut을 사용하는 딥러닝 파이프라인을 제안하였으며, 대부분의 음식에서 ±20% 이내의 부피 추정 오차를 달성하였다. 단, 바나나, 포도, 명월과 같은 음식은 측정 과제로 인해 오차가 크다.

ABSTRACT

Computer vision has been introduced to estimate calories from food images. But current food image data sets don't contain volume and mass records of foods, which leads to an incomplete calorie estimation. In this paper, we present a novel food image data set with volume and mass records of foods, and a deep learning method for food detection, to make a complete calorie estimation. Our data set includes 2978 images, and every image contains corresponding each food's annotation, volume and mass records, as well as a certain calibration reference. To estimate calorie of food in the proposed data set, a deep learning method using Faster R-CNN first is put forward to detect the food. And the experiment results show our method is effective to estimate calories and our data set contains adequate information for calorie estimation. Our data set is the first released food image data set which can be used to evaluate computer vision-based calorie estimation methods.

연구 동기 및 목표

• 정확한 칼로리 추정을 위한 부피 및 질량 기록을 포함한 종합적인 음식 이미지 데이터셋의 부족을 해결하기 위해.
• 사용자 입력 없이도 음식 이미지에서 자동으로 칼로리 추정이 가능한 컴퓨터 비전 기반 방법을 개발하기 위해.
• 일반적으로 이용 가능한 校정 물체(1위안 지폐)와 딥러닝 기술을 활용하여 칼로리 추정 정확도를 향상시키기 위해.
• 미래의 컴퓨터 비전 기반 칼로리 추정 시스템 평가를 위한 기준 데이터셋과 방법을 제공하기 위해.

제안 방법

• ECUSTFD 데이터셋은 19종류의 음식에 대해 총 2,978장의 이미지를 포함하며, 각 이미지에 부피, 질량 및 校정 기준으로 사용된 1위안 지폐가 함께 레이블링되어 있다.
• Faster R-CNN을 사용하여 상단 및 측면 시각 이미지에서 음식 항목과 校정 지폐를 검출하여 척도 요소를 산정한다.
• GrabCut 알고리즘을 통해 검출된 바운딩 박스에서 각 음식 항목의 정밀한 윤곽을 추출한다.
• 각 이미지에서 校정 지폐를 기반으로 유도된 척도 요소를 바탕으로 기하 모델을 사용해 부피를 추정한다.
• 추정된 부피를 기반으로 알려진 음식 밀도 및 영양성분 표와의 매칭을 통해 칼로리 값을 계산한다.
• 쌍체적 상단 및 측면 시각 이미지를 처리하여 3차원 부피 재구성 및 추정 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 표준 校정 물체를 사용하는 이미지만으로도 컴퓨터 비전 기반 시스템이 음식 칼로리 섭취를 정확히 추정할 수 있는가?
• RQ2 Faster R-CNN과 GrabCut의 조합이 제약 없는 음식 이미지에서 음식 항목의 검출 및 분할에 얼마나 효과적인가?
• RQ3 데이터셋에 부피 및 질량 기록을 포함시키는 것이 자동 칼로리 추정 정확도를 얼마나 향상시키는가?
• RQ4 다양한 형태와 질감을 가진 음식 종류에 대해 제안된 방법의 성능은 어떠한가?
• RQ5 부피 및 칼로리 추정에서 주요 오류 원인은 무엇이며, 이를 정량화할 수 있는가?

주요 결과

• 제안된 방법은 사과, 바나나, 빵, 오렌지 등 대부분의 음식 종류에서 ±20% 이내의 부피 추정 오차를 달성하였다.
• 19종류의 음식 중 16종류에서 부피 추정의 평균 오차가 ±20% 이내였으며, 이는 전체적으로 뛰어난 성능을 의미한다.
• 포도, 바나나, 명월과에서는 뚜렷한 오차가 관찰되었으며, 주로 군집된 포도 사이의 간극이나 비정형적인 형태 등 측정 오류로 인한 것이다.
• 1위안 지폐를 校정 물체로 사용함으로써 다양한 이미지 시각에서 일관된 척도 추정이 가능했다.
• ECUSTFD 데이터셋은 칼로리 추정 평가를 위한 기준 부피 및 질량 기록이 포함된 첫 번째 공개된 음식 이미지 데이터셋이다.
• 사용자 입력 없이도 분할을 위한 입력 없이도 칼로리 값을 성공적으로 추정하여 완전 자동 추정을 실현하였다.