[논문 리뷰] Visual Recipe Flow: A Dataset for Learning Visual State Changes of Objects with Recipe Flows

Keisuke Shirai, Atsushi Hashimoto외 5명|arXiv (Cornell University)|2022. 09. 13.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 조리 과정에서 물체 상태 변화를 조리 흐름 그래프(r-FG)에 기반한 이미지 쌍을 통해 포착하는 다중모달 데이터셋인 Visual Recipe Flow(VRF)를 소개한다. 이 데이터셋은 행동별 시각적 결과를 학습할 수 있게 하여, 행동 동사와 사전 행동 이미지를 조합했을 때 Recall@5가 37.01%에 달하는 다중모달 검색에서의 효과를 입증한다.

ABSTRACT

We present a new multimodal dataset called Visual Recipe Flow, which enables us to learn each cooking action result in a recipe text. The dataset consists of object state changes and the workflow of the recipe text. The state change is represented as an image pair, while the workflow is represented as a recipe flow graph (r-FG). The image pairs are grounded in the r-FG, which provides the cross-modal relation. With our dataset, one can try a range of applications, from multimodal commonsense reasoning and procedural text generation.

연구 동기 및 목표

• 조리 행동의 시각적 결과를 물체 상태 변화 추적을 통해 자율 에이전트가 예측할 수 있도록 하기 위해.
• 지시 수준의 시각적 주석이 단일 문장 내에서 다중 행동 결과를 포착하지 못하는 한계를 해결하기 위해.
• 조리 워크플로우에 기반한 고밀도의 행동 수준 시각 주석을 제공하여 다중모달 이해를 향상시키기 위해.
• 시각적 및 텍스처 데이터를 활용한 다중모달 공통지식 추론 및 절차적 텍스트 생성 응용을 지원하기 위해.
• 시각-언어 모델의 절차적 이해 작업 평가를 위한 고품질 주석을 갖춘 벤치마크 데이터셋을 만들기 위해.

제안 방법

• 행동, 재료, 도구를 식별하기 위해 조리 텍스트와 조리 명사어(entity, r-NEs)를 사용하여 데이터셋을 구축한다.
• 각 단계의 입력 및 출력 상태를 보여주는 행동 간 의존성 구조를 나타내기 위해 조리 흐름 그래프(r-FG)를 구축한다.
• 각 행동에 대해 r-FG에 기반한 물체의 사전 행동 및 이후 행동 상태를 나타내는 이미지 쌍을 수집한다.
• 인간 주석자들이 수행한 시각 주석은 상호 주석자 일致도 검사를 통해 일관성을 확보한다.
• 이 데이터셋은 3,824개의 고유 이미지, 623개의 r-NEs, 616개의 조리 흐름, 100개의 조리법을 기반으로 한 총 1,990개의 시각적 상태 변화를 포함한다.
• 다중모달 검색 평가를 위해 텍스트 행동 동사와 시각적 사전 행동 상태를 조합한 공동 임베딩 모델을 사용한다.

실험 결과

연구 질문

• RQ1 이미지 쌍을 활용하여 조리 워크플로우에 기반한 시각적 상태 변화를 효과적으로 포착하고 기반시킬 수 있는가?
• RQ2 시각-언어 모델은 시각적 및 텍스트 입력을 얼마나 잘 활용하여 이후 행동 상태의 물체 상태를 예측할 수 있는가?
• RQ3 시각 주석은 텍스트 전용 또는 이미지 전용 기반선 대비 다중모달 검색 성능 향상에 얼마나 기여하는가?
• RQ4 다양한 주석자 간에 인간 주석된 시각적 상태 변화는 얼마나 일관되고 신뢰할 수 있는가?
• RQ5 r-FG 구조는 절차적 텍스트 생성 및 추론의 일관성과 통일성 향상에 기여하는가?

주요 결과

• 조리 명사어(r-NEs)에 대한 상호 주석자 일치도는 F-measure 98.40을 기록하여 거의 완벽한 일관성을 나타낸다.
• r-FG 주석은 복잡한 의존성 모델링에도 불구하고 F-measure 86.11을 달성하여 높은 신뢰성을 입증한다.
• 시각 주석 일치도는 F-measure 72.80로, 이는 이전 주석 오류에 민감한 고려 사항을 감안할 때 매우 강력한 결과이다.
• 공동 임베딩 모델은 행동 동사와 사전 행동 이미지를 조합했을 때 Recall@5가 37.01%를 기록하여 텍스트 전용(2.37%) 및 이미지 전용(21.24%) 기반선을 모두 초월한다.
• 통합 모odal 입력을 사용했을 때 중앙순위(MedR)는 10.40으로 떨어져 검색 정밀도 향상을 보여준다.
• 결과는 시각 모odal이 이후 행동의 시각적 상태를 예측하는 데 핵심적이고 상호보완적인 정보를 제공한다는 것을 확인한다.