[논문 리뷰] RecipeQA: A Challenge Dataset for Multimodal Comprehension of Cooking Recipes

Semih Yagcioglu, Aykut Erdem외 2명|arXiv (Cornell University)|2018. 09. 04.

Topic Modeling참고 문헌 35인용 수 10

한 줄 요약

RecipeQA는 20,000개의 요리 레시피, 정렬된 이미지, 그리고 36,786개의 질문-답변 쌍을 포함한 대규모 다중모달 데이터셋을 소개하며, 요리 지시문에 대한 기계적 이해 능력을 평가하기 위한 벤치마크로 기능한다. 이 데이터셋은 여러 단계에 걸친 텍스트와 이미지의 통합 이해를 강조하며, 시간적 흐름과 절차 지식에 대한 추론이 필요하며, 다중모달 추론 시스템에 도전적인 벤치마크로 기능한다.

ABSTRACT

Understanding and reasoning about cooking recipes is a fruitful research direction towards enabling machines to interpret procedural text. In this work, we introduce RecipeQA, a dataset for multimodal comprehension of cooking recipes. It comprises of approximately 20K instructional recipes with multiple modalities such as titles, descriptions and aligned set of images. With over 36K automatically generated question-answer pairs, we design a set of comprehension and reasoning tasks that require joint understanding of images and text, capturing the temporal flow of events and making sense of procedural knowledge. Our preliminary results indicate that RecipeQA will serve as a challenging test bed and an ideal benchmark for evaluating machine comprehension systems. The data and leaderboard are available at http://hucvl.github.io/recipeqa.

연구 동기 및 목표

• 실생활에서 제약이 없는 환경에서 절차적 이해에 초점을 맞춘 대규모 다중모달 데이터셋의 부족을 보완하기 위해.
• 특히 요리 레시피에 대한 단계별 지시문에서 텍스트와 이미지의 통합 이해를 가능하게 하기 위해.
• 시간적 단계 간 추론과 지시 콘텐츠 내 다중모달 정렬을 평가하는 벤치마크를 제공하기 위해.
• 행동 순서와 재료의 변화 과정을 포함한 절차 지식에 대해 추론할 수 있는 모델 개발을 지원하기 위해.
• 리더보드를 통해 지속적인 발전을 촉진할 수 있도록 공개된 자원을 제공하기 위해.

제안 방법

• 실제 요리 레시피 약 20,000건을 수집하며, 사용자가 제약 없는 환경에서 찍은 자연스러운 이미지를 포함한다.
• 각 레시피 단계에 하나 이상의 관련 이미지를 정렬하여 세밀한 모odal 정렬을 보장한다.
• 레시피 텍스트와 이미지 콘텐츠를 기반으로 자동화된 템플릿을 사용해 36,000개 이상의 질문-답변 쌍을 생성한다.
• 텍스트 누락, 시각적 누락, 스펜 선택, 다중 선택의 네 가지 다른 질문 유형을 설계하여 각각 특정 이해 능력을 테스트한다.
• 규칙 기반 및 자연어 처리 기법의 조합을 사용하여 텍스트와 이미지 모달 간 추론이 필요한 질문을 생성한다.
• 공개 리더보드와 데이터셋을 http://hucvl.github.io/recipeqa 에 제공하여 재현 가능한 평가 및 모델 개발을 장려한다.

실험 결과

연구 질문

• RQ1 다중모달 모델은 텍스트와 이미지를 모두 활용해 요리 레시피의 행동 흐름을 효과적으로 이해하고 추론할 수 있는가?
• RQ2 이미지가 포함된 경우 기존 모델들이 단계별 지시문의 통합 이해 능력에서 얼마나 잘 성과를 내는가?
• RQ3 표면적 언어 일치나 표면적 신호에 의존하는 모델들이 인간 수준의 추론과 비교해 RecipeQA에서 얼마나 실패하는가?
• RQ4 요리 레시피의 여러 단계에 걸쳐 다중모달 입력(텍스트 및 이미지)을 정렬하는 데 있어 주요 과제는 무엇인가?
• RQ5 제약 없는 환경에서 사용자가 촬영한 자연스러운 이미지를 사용할 경우, 합성 또는 다이어그램 이미지 대비 모델의 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• RecipeQA는 자연스러운 이미지와 다중 단계를 포함한 요리 레시피에서 절차 지식의 다중모달 이해에 초점을 맞춘 최초의 데이터셋이다.
• 평균 레시피에는 12장의 이미지가 포함되어 있으며, TQA(질문당 평균 3.5장의 이미지)보다 훨씬 많아 다중모달 정렬의 복잡도를 높인다.
• 기준 모델들은 인간 성능과 비교해 뚜렷한 성능 격차를 보이며, 이 데이터셋의 도전성 수준을 입증한다.
• 텍스트 누락 및 시각적 누락을 포함한 다양한 질문 유형을 지원하여 어휘 매칭을 넘어서는 추론이 필요하다.
• 실생활에서 사용자가 촬영한 이미지의 포함은 도메인 이동과 시각적 다양성을 유도하여, 합성 또는 다이어그램 데이터셋보다 일반화를 더 어렵게 한다.
• 공개된 데이터셋과 리더보드를 통해 다중모달 추론 분야에서 지속적인 벤치마크 및 모델 평가가 가능하다.