[論文レビュー] The Multimodal And Modular Ai Chef: Complex Recipe Generation From Imagery

David Noever, Samantha Elizabeth Miller Noever|arXiv (Cornell University)|Mar 20, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本論文では、最初に視覚モデルを用いて食材を検出しラベル付けし、その物体リストを大規模言語モデル（GPT-4）に供給することで、複雑でパーソナライズされたレシピを冷蔵庫の画像から生成するモジュラーでマルチモーダルなAIシステムを提案する。このアプローチは、物体検出で95％を超える平均平均適合度を達成し、2000枚以上の画像を用いて30種類の代表的食材を含む100ページのレシピブックを生成することができ、一括モデルに比べて一貫性と制約遵守の面で優れている。

ABSTRACT

The AI community has embraced multi-sensory or multi-modal approaches to advance this generation of AI models to resemble expected intelligent understanding. Combining language and imagery represents a familiar method for specific tasks like image captioning or generation from descriptions. This paper compares these monolithic approaches to a lightweight and specialized method based on employing image models to label objects, then serially submitting this resulting object list to a large language model (LLM). This use of multiple Application Programming Interfaces (APIs) enables better than 95% mean average precision for correct object lists, which serve as input to the latest Open AI text generator (GPT-4). To demonstrate the API as a modular alternative, we solve the problem of a user taking a picture of ingredients available in a refrigerator, then generating novel recipe cards tailored to complex constraints on cost, preparation time, dietary restrictions, portion sizes, and multiple meal plans. The research concludes that monolithic multimodal models currently lack the coherent memory to maintain context and format for this task and that until recently, the language models like GPT-2/3 struggled to format similar problems without degenerating into repetitive or non-sensical combinations of ingredients. For the first time, an AI chef or cook seems not only possible but offers some enhanced capabilities to augment human recipe libraries in pragmatic ways. The work generates a 100-page recipe book featuring the thirty top ingredients using over 2000 refrigerator images as initializing lists.

研究の動機と目的

• 一括処理のマルチモーダルモデルが、複雑なレシピ生成において文脈やフォーマットを維持する点での制限を克服すること。
• 実用的で現実世界のレシピ作成に適した、視覚と言語モデルを組み合わせたスケーラブルでモジュラーなパイプラインの開発。
• コスト、時間、食事制限、サービングサイズなどの複雑な制約のもとでのパーソナライズされたレシピ生成の実現。
• 人間のレシピライブラリに、新規で一貫性のある出力をもたらすAI駆動のレシピシステムの実現可能性の実証。
• 一括モデルと比較して、モジュラーAPIベースのワークフローのレシピ生成タスクにおける性能評価。

提案手法

• ユーザーの冷蔵庫の写真から顕在する食材を抽出・ラベル付けするために、事前学習済みの画像分類モデルを用いる。
• 得られた物体リストを構造化された入力として、大規模言語モデル（GPT-4）に供給し、レシピ生成を行う。
• 食事制限、コスト、調理時間などのユーザー指定の制約をプロンプトとして統合し、LLMの出力をガイドする。
• 視覚処理と言語処理を分離することで信頼性とスケーラビリティを向上させる、モジュラーなAPIベースのアーキテクチャを採用する。
• 一貫したフォーマットと一貫性を保証するため、ファインチューニングされたプロンプト工学戦略を適用する。
• 2000枚以上の冷蔵庫の画像を処理し、30種類の最も一般的な食材を含む100ページのレシピブックを生成する。

実験結果

リサーチクエスチョン

• RQ1 モジュラーでAPIベースのパイプラインは、一括処理のマルチモーダルモデルに比べ、一貫性があり制約に配慮したレシピ生成において優れていると言えるか？
• RQ2 視覚モデルは、現実世界の冷蔵庫の画像から、食材リストをどれほど正確に抽出できるか？
• RQ3 構造化された物体入力によってガイドされた場合、大規模言語モデルは多様で現実的でフォーマット整備済みのレシピをどれほど効果的に生成できるか？
• RQ4 モジュラーアプローチは、一括処理のマルチモーダルモデルと比較して、複雑なレシピタスクにおける文脈とフォーマットの維持をより効果的に行えるか？
• RQ5 コスト、時間、食事制限などの複数の制約のもとで、システムは信頼性高くパーソナライズされたレシピを生成できるか？

主な発見

• モジュラーなシステムは、冷蔵庫の画像から食材を正しく特定・リスト化する作業で95％を超える平均平均適合度を達成した。
• 視覚モデルを用いて物体リストを抽出することで、一括モデルと比較して、レシピ生成の整合性と正確性が顕著に向上した。
• GPT-4は、構造化された食材リストと制約をプロンプトとして与えることで、繰り返しや不整合に陥ることなく、非常に一貫性があり多様なレシピカードを生成した。
• システムは、2000枚以上の実際の冷蔵庫の画像を用いて、2000以上のユニークなレシピを含む100ページのレシピブックを正常に生成した。
• モジュラーアプローチは、一括処理のマルチモーダルモデルが長文で構造化された出力で苦戦するのと比較して、フォーマットと文脈の維持において優れた能力を示した。
• 結果から、現在の最先端のLLMを、視覚APIとモジュラーな形で組み合わせることで、実用的でスケーラブルなAI駆動のレシピ生成が可能になることが示された。