[논문 리뷰] A Benchmark for Structured Procedural Knowledge Extraction from Cooking Videos

Frank F. Xu, Lei Ji외 5명|arXiv (Cornell University)|2020. 05. 02.

Multimodal Machine Learning Applications참고 문헌 55인용 수 4

한 줄 요약

이 논문은 요리 영상에서 구조화된 절차 지식을 추출하기 위한 벤치마크를 소개한다. 이는 다중모달 입력(영상 및 노이즈가 있는 원문)으로부터 동사-논항 튜플을 생성하도록 요구한다. 행동 검출 및 의미 역할 표기의 최첨단 모델을 사용하고도 성능이 낮은 것은 핵심 참조, 생략, 음성 인식 오류가 있는 실제 절차에 행동을 정렬하는 데의 과도한 과제를 드러낸다.

ABSTRACT

Watching instructional videos are often used to learn about procedures. Video captioning is one way of automatically collecting such knowledge. However, it provides only an indirect, overall evaluation of multimodal models with no finer-grained quantitative measure of what they have learned. We propose instead, a benchmark of structured procedural knowledge extracted from cooking videos. This work is complementary to existing tasks, but requires models to produce interpretable structured knowledge in the form of verb-argument tuples. Our manually annotated open-vocabulary resource includes 356 instructional cooking videos and 15,523 video clip/sentence-level annotations. Our analysis shows that the proposed task is challenging and standard modeling approaches like unsupervised segmentation, semantic role labeling, and visual action detection perform poorly when forced to predict every action of a procedure in a structured form.

연구 동기 및 목표

• 다중모달 지침 영상에 대한 대규모, 오픈 빈도어, 구조화된 절차 지식 벤치마크의 부족을 해결하기 위해.
• 영상과 원문으로부터 절차 단계를 동사-논항 튜플로 추출하는 모델의 미세한 평가를 가능하게 하는 데이터셋을 구축하기 위해.
• 절차 지식 추출의 주요 과제, 특히 동사 생략, 음성 인식 오류, 시각-언어적 핵심 참조를 규명하기 위해.
• 현재 모델이 다중 모odal에서 행동을 정렬하는 데에 겪는 한계를 평가하기 위해, 특히 원문이 노이즈가 있거나 불완전한 경우에 대해.

제안 방법

• 356개의 요리 영상과 15,523개의 문장 수준의 주석을 포함하는 데이터셋으로, 절차 튜플(동사, 논항)을 영상 클립에 정렬하여 수동으로 레이블링하였다.
• 파이프라인 방식을 사용: 먼저 다중모달 분할을 통해 핵심 영상 클립과 문장을 식별한 후, 의미 역할 표기와 시각적 행동 인식을 통해 튜플을 추출한다.
• 의미 역할 표기 모델을 사용하여 원문에서 동사-논항 구조를 추출한다.
• 주방 영상에서 훈련된 시각적 행동 검출 모델을 사용하여 행동과 물체를 검출하고, 이를 텍스트 예측과 정렬한다.
• 모델은 전체 절차 튜플을 예측하는 능력, 특히 빈 논항과 핵심 참조를 처리하는 능력을 평가한다.
• 감독 및 비감독 분할 베이스라인을 포함하여, 다양한 수준의 감독에서의 성능 평가를 가능하게 하는 벤치마크이다.

실험 결과

연구 질문

• RQ1 기존 모델은 노이즈가 있는 원문이 포함된 다중모달 요리 영상에서 구조화된 절차 지식(동사-논항 튜플)을 얼마나 잘 추출할 수 있는가?
• RQ2 절차 지식 추출의 주요 실패 유형은 무엇인가? 특히 동사 생략과 음성 인식 오류에 대해.
• RQ3 정확하게 영상에 행동을 정렬하기 위해 시각적 신호와 언어 신호를 함께 모델링할 필요가 어느 정도인가?
• RQ4 핵심 참조와 암묵적 논항은 현재 모델의 절차 지식 추출 성능에 어떤 영향을 미치는가?
• RQ5 지침 영상에서 약한 감독으로 훈련된 다중모달 모델은 오픈 빈도어 절차 지식 추출으로 일반화할 수 있는가?

주요 결과

• 의미 역할 표기 및 시각적 행동 검출을 위한 표준 모델은 모든 절차 단계를 구조화된 형식으로 예측하도록 강요되었을 때 성능이 떨어지며, 이는 작업이 매우 과도한 과제임을 시사한다.
• 동사 생략은 주요 문제이다: 적절한 맥락 인식이 부족해 주로 'give'를 'flip'으로 잘못 식별하는 등 주요 동사를 잘못 선택하는 경향이 있다.
• 음성 인식 오류는 성능을 심각하게 떨어뜨리며, 'flour'와 'flower', 또는 'sriracha'와 'sarrah cha' 등의 일반적인 오류가 논항 추출을 잘못되게 한다.
• 핵심 참조와 암묵적 논항은 현재의 기준 모델에서 해결되지 않았으며, 시각-언어적 공참조를 명시적으로 모델링하지 못하고 있다.
• 제안된 벤치마크는 현재 모델이 노이즈가 있는 다양한 실제 영상 원문에 대해 일반화하지 못함을 드러내며, 더 나은 다중모달 정렬이 필요함을 시사한다.
• 최첨단 구성 요소를 사용하고도 성능이 최적에 도달하지 못하고 있어, 강력한 절차 지식 추출을 위해 시각과 언어의 공동 모델링이 필수적임을 보여준다.