[論文レビュー] Food Recipe Recommendation Based on Ingredients Detection Using Deep Learning

Md. Shafaat Jamil Rokon, Md. Kishor Morol+3 more|arXiv (Cornell University)|Mar 13, 2022

Advanced Chemical Sensor Technologies被引用数 4

ひとこと要約

本論文では、畳み込みニューラルネットワーク（CNN）を用いて画像から材料を検出することで、深層学習フレームワークを提案し、機械学習を用いてレシピを推薦する。32種類の材料クラスにわたる9,856枚の独自データセットで訓練された本システムは、材料認識において94％の正確性を達成し、初心者から経験豊富な料理人まで効果的なレシピの提案が可能である。

ABSTRACT

Food is essential for human survival, and people always try to taste different types of delicious recipes. Frequently, people choose food ingredients without even knowing their names or pick up some food ingredients that are not obvious to them from a grocery store. Knowing which ingredients can be mixed to make a delicious food recipe is essential. Selecting the right recipe by choosing a list of ingredients is very difficult for a beginner cook. However, it can be a problem even for experts. One such example is recognising objects through image processing. Although this process is complex due to different food ingredients, traditional approaches will lead to an inaccuracy rate. These problems can be solved by machine learning and deep learning approaches. In this paper, we implemented a model for food ingredients recognition and designed an algorithm for recommending recipes based on recognised ingredients. We made a custom dataset consisting of 9856 images belonging to 32 different food ingredients classes. Convolution Neural Network (CNN) model was used to identify food ingredients, and for recipe recommendations, we have used machine learning. We achieved an accuracy of 94 percent, which is quite impressive.

研究の動機と目的

• ユーザーが材料の名前や相性についての知識がなくても、その材料のセットから適切なレシピを推薦する課題に対処すること。
• 従来の画像処理手法の限界を克服し、画像からの食品材料認識の正確性を向上させること。
• 機械学習を用いて検出された材料を関連する高品質なレシピに結びつけるエンドツーエンドのシステムを開発すること。
• 訓練および評価のための、9,856枚の画像と32種類の食品材料クラスを含む独自データセットを作成すること。

提案手法

• 32種類の異なる食品材料クラスをカバーする、9,856枚の画像からなる独自データセットを収集およびアノテーション処理した。
• 入力画像からの食品材料の分類を高精度で行うために、畳み込みニューラルネットワーク（CNN）を訓練した。
• 材料検出の結果を、機械学習に基づくレシピ推薦アルゴリズムの入力特徴として使用した。
• 標準的な分類評価指標を用いてモデルを評価し、主な性能指標として正確性を報告した。
• 画像ベースの材料認識とレシピ検索を統合することで、リアルタイムのレコメンデーションを可能にした。

実験結果

リサーチクエスチョン

• RQ1 深層学習に基づくCNNモデルは、現実世界の画像から多様な食品材料を正確に検出できるか？
• RQ2 材料検出とレシピ推薦の統合は、家庭の料理人におけるユーザーエクスペリエンスを向上させるのにどの程度効果的か？
• RQ3 32種類の材料クラスからなる独自データセットは、正確で一般化可能な材料認識をどの程度支援するか？
• RQ4 現実の調理状況において、画像認識とレシピ推薦の統合パイプラインが達成可能な正確性はどの程度か？

主な発見

• 提案されたCNNベースの材料検出モデルは、32種類の食品材料クラスにわたる9,856枚の画像からなる独自データセットで、テスト正確性94％を達成した。
• 本システムは、検出された材料を関連するレシピに結びつけることに成功し、家庭の料理人における実用的応用性を示した。
• 材料認識に深層学習を、レシピ推薦に機械学習を統合することで、強固で正確なレコメンデーションパイプラインが得られた。
• 9,856枚の画像からなる独自データセットは、今後の食品材料認識分野の研究における貴重なベンチマークを提供する。