[논문 리뷰] Food Recipe Recommendation Based on Ingredients Detection Using Deep Learning

Md. Shafaat Jamil Rokon, Md. Kishor Morol외 3명|arXiv (Cornell University)|2022. 03. 13.

Advanced Chemical Sensor Technologies인용 수 4

한 줄 요약

이 논문은 심층 학습 프레임워크를 제안하여 영상에서 성분을 감지하는 데 컨볼루션 신경망(CNN)을 사용하고 기계 학습을 통해 레시피를 추천한다. 32개의 성분 클래스에 걸쳐 9,856장의 이미지로 구성된 자체 구축된 데이터셋으로 훈련된 시스템은 성분 인식에서 94%의 정확도를 달성하여 초보자 및 숙련 조리사 모두에게 효과적인 레시피 추천을 가능하게 한다.

ABSTRACT

Food is essential for human survival, and people always try to taste different types of delicious recipes. Frequently, people choose food ingredients without even knowing their names or pick up some food ingredients that are not obvious to them from a grocery store. Knowing which ingredients can be mixed to make a delicious food recipe is essential. Selecting the right recipe by choosing a list of ingredients is very difficult for a beginner cook. However, it can be a problem even for experts. One such example is recognising objects through image processing. Although this process is complex due to different food ingredients, traditional approaches will lead to an inaccuracy rate. These problems can be solved by machine learning and deep learning approaches. In this paper, we implemented a model for food ingredients recognition and designed an algorithm for recommending recipes based on recognised ingredients. We made a custom dataset consisting of 9856 images belonging to 32 different food ingredients classes. Convolution Neural Network (CNN) model was used to identify food ingredients, and for recipe recommendations, we have used machine learning. We achieved an accuracy of 94 percent, which is quite impressive.

연구 동기 및 목표

• 사용자가 성분을 알고 있지만 이름이나 상호 운용 가능성에 대해 모른다는 문제를 해결하기 위해 적합한 레시피를 추천하는 것.
• 기존의 이미지 처리 방법의 한계를 극복하고 영상에서 음식 성분 인식의 정확도를 향상시키는 것.
• 기계 학습을 사용하여 감지된 성분을 관련성 있고 고급도가 높은 레시피에 연결하는 종단 간 시스템을 개발하는 것.
• 모델 훈련 및 평가를 위해 사용할 수 있는 9,856장의 이미지로 구성된 32개의 음식 성분 클래스로 이루어진 자체 구축된 데이터셋을 만드는 것.

제안 방법

• 32개의 다른 음식 성분 클래스를 포함하는 9,856장의 이미지로 구성된 자체 구축된 데이터셋을 수집하고 주석 처리하였다.
• 입력 영상에서 음식 성분을 높은 정확도로 분류하기 위해 컨볼루션 신경망(CNN)을 훈련시켰다.
• 성분 감지 결과를 기계 학습 기반의 레시피 추천 알고리즘의 입력 특징으로 사용하였다.
• 표준 분류 평가 지표를 사용하여 모델을 평가하였으며, 주요 성능 측정 기준으로 정확도를 보고하였다.
• 이미지 기반의 성분 인식과 레시피 검색을 통합하여 실시간 추천이 가능한 시스템을 구현하였다.

실험 결과

연구 질문

• RQ1 심층 학습 기반의 CNN 모델은 실제 세계의 영상에서 다양한 음식 성분을 정확하게 감지할 수 있는가?
• RQ2 성분 감지와 레시피 추천의 통합은 홈 쿠진의 사용자 경험을 향상시키는 데 얼마나 효과적인가?
• RQ3 32개의 성분 클래스로 구성된 자체 구축된 데이터셋은 정확하고 일반화 가능한 성분 인식을 지원하는 데 어느 정도 기여하는가?
• RQ4 실제 요리 환경에서 이미지 인식과 레시피 추천을 통합한 파이프라인의 달성 가능한 정확도는 얼마인가?

주요 결과

• 제안된 CNN 기반의 성분 감지 모델은 32개의 음식 성분 클래스에 걸쳐 9,856장의 이미지로 구성된 자체 구축된 데이터셋에서 테스트 정확도 94%를 달성하였다.
• 시스템은 감지된 성분을 관련 레시피에 성공적으로 연결하여 홈 쿠진을 위한 실용적 적용 가능성을 입증하였다.
• 성분 인식을 위한 심층 학습과 레시피 추천을 위한 기계 학습의 통합은 강력하고 정확한 추천 파이프라인을 제공한다.
• 9,856장의 이미지로 구성된 자체 구축된 데이터셋은 향후 음식 성분 인식 분야의 연구에 소중한 기준 자료가 된다.