[논문 리뷰] The Multimodal And Modular Ai Chef: Complex Recipe Generation From Imagery

David Noever, Samantha Elizabeth Miller Noever|arXiv (Cornell University)|2023. 03. 20.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 처음으로 시각 모델을 사용해 냉장고 이미지에서 재료를 감지하고 레이블을 붙인 후, 그 객체 목록을 대규모 언어 모델(GPT-4)에 공급하여 형식화되고 제약 조건을 고려한 개인 맞춤형 레시피를 생성하는 모듈러하고 다중 모odal AI 시스템을 제안한다. 이 접근 방식은 물체 검출에서 평균 정밀도가 95% 이상을 기록했으며, 2000장 이상의 이미지를 사용해 상위 30개 재료를 기반으로 한 100페이지 분량의 레시피 북을 생성했으며, 일관성과 제약 조건 준수 측면에서 통합 모델보다 뛰어난 성능을 보였다.

ABSTRACT

The AI community has embraced multi-sensory or multi-modal approaches to advance this generation of AI models to resemble expected intelligent understanding. Combining language and imagery represents a familiar method for specific tasks like image captioning or generation from descriptions. This paper compares these monolithic approaches to a lightweight and specialized method based on employing image models to label objects, then serially submitting this resulting object list to a large language model (LLM). This use of multiple Application Programming Interfaces (APIs) enables better than 95% mean average precision for correct object lists, which serve as input to the latest Open AI text generator (GPT-4). To demonstrate the API as a modular alternative, we solve the problem of a user taking a picture of ingredients available in a refrigerator, then generating novel recipe cards tailored to complex constraints on cost, preparation time, dietary restrictions, portion sizes, and multiple meal plans. The research concludes that monolithic multimodal models currently lack the coherent memory to maintain context and format for this task and that until recently, the language models like GPT-2/3 struggled to format similar problems without degenerating into repetitive or non-sensical combinations of ingredients. For the first time, an AI chef or cook seems not only possible but offers some enhanced capabilities to augment human recipe libraries in pragmatic ways. The work generates a 100-page recipe book featuring the thirty top ingredients using over 2000 refrigerator images as initializing lists.

연구 동기 및 목표

• 복합적인 레시피 생성 과정에서 맥락과 형식을 유지하는 데 어려움을 겪는 통합형 다중 모달 모델의 한계를 해결하기 위해.
• 실제 응용에 적합한 실생활 레시피 생성을 위해 시각 모델과 언어 모델을 조합한 확장 가능한 모듈러 파이프라인을 개발하기 위해.
• 비용, 시간, 식이 제한, 제공량과 같은 복잡한 제약 조건 하에서 개인 맞춤형 레시피 생성을 가능하게 하기 위해.
• 인간의 레시피 라이브러리를 혁신적이고 일관된 출력으로 향상시키는 AI 기반 레시피 시스템의 실현 가능성을 입증하기 위해.
• 모듈러 API 기반 워크플로우의 성능을 통합 모델과 비교하여 레시피 생성 작업에서 평가하기 위해.

제안 방법

• 사전 훈련된 이미지 분류 모델을 사용해 사용자의 냉장고 사진에서 보이는 재료를 추출하고 레이블을 붙이기 위해.
• 생성된 객체 목록을 구조화된 입력으로 사용하여 대규모 언어 모델(GPT-4)을 활용해 레시피를 생성하기 위해.
• 사용자가 지정한 제약 조건(예: 식이 제한, 비용, 조리 시간 등)을 프롬프트로 통합해 LLM의 출력을 이끌기 위해.
• 시각 처리와 언어 처리를 분리함으로써 신뢰성과 확장성을 향상시키기 위해 모듈러한 API 기반 아키텍처를 적용하기 위해.
• 일관된 형식과 일관성 있는 출력을 보장하기 위해 피니테인드된 프롬프트 엔지니어링 전략을 적용하기 위해.
• 2000장 이상의 냉장고 이미지를 처리해 상위 30개 재료를 기반으로 한 100페이지 분량의 레시피 북을 생성하기 위해.

실험 결과

연구 질문

• RQ1 모듈러하고 API 기반의 워크플로우가 통합형 다중 모달 모델보다 일관성 있고 제약 조건을 고려한 레시피 생성에서 뛰어난 성능을 보일 수 있는가?
• RQ2 시각 모델이 실제 냉장고 이미지에서 재료 목록을 얼마나 정확하게 추출할 수 있는가?
• RQ3 구조화된 객체 입력을 기반으로 안내된 대규모 언어 모델이 다양하고 현실적이며 형식화된 레시피를 얼마나 잘 생성할 수 있는가?
• RQ4 복잡한 레시피 작업에서 모듈러한 접근 방식이 종단 간 다중 모달 모델보다 맥락과 형식을 더 잘 유지하는가?
• RQ5 비용, 시간, 식이 제한과 같은 다중 제약 조건 하에서 시스템이 신뢰성 있게 개인 맞춤형 레시피를 생성할 수 있는가?

주요 결과

• 모듈러 시스템은 냉장고 이미지에서 재료를 정확히 식별하고 목록화하는 데 있어 평균 정밀도가 95% 이상을 기록했다.
• 시각 모델을 활용해 객체 목록을 추출함으로써 통합 모델 대비 레시피 생성의 일관성과 정확도가 크게 향상되었다.
• GPT-4는 구조화된 재료 목록과 제약 조건을 프롬프트로 제공받아 반복적이거나 비일관된 출력으로 악화되지 않고 매우 일관되고 다양한 레시피 카드를 생성했다.
• 시스템은 2000여 장의 실제 냉장고 이미지를 기반으로 상위 30개 재료를 중심으로 한 100페이지 분량의 레시피 북을 성공적으로 생성했으며, 이에 포함된 고유한 레시피 수는 2000개가 넘었다.
• 모듈러한 접근 방식은 통합형 다중 모달 모델이 장기적이고 구조화된 출력을 처리하는 데 어려움을 겪는 것과는 달리, 형식과 맥락을 더 잘 유지하는 데 뛰어난 능력을 보였다.
• 결과적으로 현재의 대규모 언어 모델 기술 수준이 시각 API와 모듈러한 방식으로 조합될 경우 실용적이고 확장 가능한 AI 기반 레시피 생성이 가능하다는 점을 시사한다.