[논문 리뷰] How to Make a BLT Sandwich? Learning to Reason towards Understanding Web Instructional Videos

Shaojie Wang, Wentian Zhao외 2명|arXiv (Cornell University)|2018. 12. 02.

Multimodal Machine Learning Applications참고 문헌 23인용 수 5

한 줄 요약

이 논문은 지침 영상에 적합한 추론 중심의 QA 데이터셋인 YouQuek을 소개하고, 시간적 순서와 관계 구조를 융합하여 영상 이해를 향상시키기 위한 새로운 순환 그래프 컨볼루션 네트워크(RGCN)를 제안한다. RGCN는 QA 작업에서 최신 기술 성능을 달성하며, 특히 인간이 작성한 설명이 정확도를 크게 향상시키지만, 낮은 품질과 농도로 인해 자동 번역된 번역문은 성능을 떨어뜨린다.

ABSTRACT

Understanding web instructional videos is an essential branch of video understanding in two aspects. First, most existing video methods focus on short-term actions for a-few-second-long video clips; these methods are not directly applicable to long videos. Second, unlike unconstrained long videos, e.g., movies, instructional videos are more structured in that they have step-by-step procedure constraining the understanding task. In this paper, we study reasoning on instructional videos via question-answering (QA). Surprisingly, it has not been an emphasis in the video community despite its rich applications. We thereby introduce YouQuek, an annotated QA dataset for instructional videos based on the recent YouCook2. The questions in YouQuek are not limited to cues on one frame but related to logical reasoning in the temporal dimension. Observing the lack of effective representations for modeling long videos, we propose a set of carefully designed models including a novel Recurrent Graph Convolutional Network (RGCN) that captures both temporal order and relation information. Furthermore, we study multiple modalities including description and transcripts for the purpose of boosting video understanding. Extensive experiments on YouQuek suggest that RGCN performs the best in terms of QA accuracy and a better performance is gained by introducing human annotated description.

연구 동기 및 목표

• 지침 영상 이해를 위한 추론 중심의 데이터셋 부족 문제를 해결하기 위해.
• 프레임 수준의 인식을 초월해 시간적, 인과적, 상관적 추론을 포함한 고차원 추론이 가능한 모델을 개발하기 위해.
• 다중 모달 입력—특히 인간이 작성한 설명—이 영상 QA 성능 향상에 얼마나 기여하는지 조사하기 위해.
• 기계의 성능을 지침 영상 이해에서 인간의 추론 능력과 비교하기 위해.
• 그래프 기반 모델링과 순차적 모델링을 어떻게 융합하여 장시간 지속되는 지침 영상에서의 추론 능력을 향상시킬 수 있는지 탐색하기 위해.

제안 방법

• YouCook2 데이터셋에서 15,355개의 QA 쌍을 추론 유형(세기, 순서, 비교, 성질 변화 등)에 따라 애너테이션 처리하였다.
• RNN를 통해 시간적 순서를 모델링하고, 그래프를 통해 관계적 의존성을 모델링하는 순환 그래프 컨볼루션 네트워크(RGCN)를 설계하여, 노드 간 메시지 전달을 가능하게 하면서도 순서 구조를 유지한다.
• 관련된 영상 세그먼트와 추론 단계에 집중하기 위해 주의 메커니즘(RGCN-SA)을 통합하여 특징 표현을 향상시켰다.
• 시각적 특징과 다중 모달 입력—인간이 작성한 설명과 자동으로 생성된 번역문—을 시간적 경계에 맞춰 통합하였다.
• 그래프 및 RNN 스트림이 상호 정보를 교환하여 상호로 추론 성능을 향상시키는 듌문 경로 아키텍처를 사용하였다.
• 모델 구성 요소와 각 모달의 기여도를 평가하기 위해 추론 실험과 다중 모달 실험을 실시하였다.

실험 결과

연구 질문

• RQ1 추론 중심의 QA 데이터셋이 지침 영상에서의 고차원 영상 이해 평가에 기여할 수 있는가?
• RQ2 순환 그래프 컨볼루션 네트워크(RGCN)는 지침 영상에서 시간적 순서와 관계적 구조를 얼마나 효과적으로 모델링할 수 있는가?
• RQ3 원시적인 번역문이나 시각적 특징만을 사용할 때에 비해 인간이 작성한 설명은 영상 QA 정확도를 얼마나 향상시키는가?
• RQ4 다중 모달 입력—특히 설명—은 기계와 인간 간의 영상 추론 작업 성능 격차를 메울 수 있는가?
• RQ5 자동 생성된 번역문은 텍스트 입력임에도 불구하고 성능을 떨어뜨리는 이유는 무엇인가?

주요 결과

• RGCN 모델은 주어진 모든 모델들 중에서 가장 높은 전체 QA 정확도를 달성하였으며, 주의 메커니즘 없이도 성능을 확보하였다.
• RGCN-SA(주의 메커니즘 강화 버전)는 다중 선택 및 K-Space 평가 지표에서 모두 최고의 성능을 기록하였다.
• 인간이 작성한 설명을 시각적 특징과 융합하면 정확도가 크게 향상되지만, 번역문은 낮은 품질과 농도로 인해 성능을 저하시킨다.
• 시각적 입력 없이도 인간은 QA 작업에서 52.8%의 정확도를 달성하여, 특히 '언제'와 '맛' 질문에서 일반 지식과 생활 경험에 크게 의존하고 있음을 시사한다.
• 시각적 특징과 설명의 조합은 모든 모델 아키텍처에서 가장 높은 정확도를 기록하여 정제된 인간 애너테이션 내역의 가치를 입증한다.
• RGCN-SA는 '세기' 질문에서 인간 성능을 초월하여, 효과적으로 훈련된 경우 기계가 특정 추론 유형에서 인간을 능가할 수 있음을 시사한다.