[논문 리뷰] VIOLIN: A Large-Scale Dataset for Video-and-Language Inference

Jingzhou Liu, Wenhu Chen외 5명|arXiv (Cornell University)|2020. 03. 25.

Multimodal Machine Learning Applications참고 문헌 70인용 수 9

한 줄 요약

이 논문은 텔레비전 프로그램과 영화 클립에서 582시간의 영상 자료에서 유래한 95,322개의 영상-가설 쌍을 포함하는 대규모 데이터셋인 VIOLIN을 소개한다. 이는 자동으로 정렬된 자막이 있는 영상과 자연어 가설 간의 함의 또는 모순 여부를 판단하는 영상-언어 추론 작업을 위한 것으로, 악성 및 인간이 검토한 부정적 문장을 통해 깊이 있는 다중모odal 추론을 강조한다. 기준 모델은 악성으로 샘플된 부정적 문장에서 뿐만 아니라 인간 성능(85.2%)에 비해 여전히 개선 여지가 큰 67.6%의 정확도를 기록한다.

ABSTRACT

We introduce a new task, Video-and-Language Inference, for joint multimodal understanding of video and text. Given a video clip with aligned subtitles as premise, paired with a natural language hypothesis based on the video content, a model needs to infer whether the hypothesis is entailed or contradicted by the given video clip. A new large-scale dataset, named Violin (VIdeO-and-Language INference), is introduced for this task, which consists of 95,322 video-hypothesis pairs from 15,887 video clips, spanning over 582 hours of video. These video clips contain rich content with diverse temporal dynamics, event shifts, and people interactions, collected from two sources: (i) popular TV shows, and (ii) movie clips from YouTube channels. In order to address our new multimodal inference task, a model is required to possess sophisticated reasoning skills, from surface-level grounding (e.g., identifying objects and characters in the video) to in-depth commonsense reasoning (e.g., inferring causal relations of events in the video). We present a detailed analysis of the dataset and an extensive evaluation over many strong baselines, providing valuable insights on the challenges of this new task.

연구 동기 및 목표

• 정적 이미지 외의 영상-언어 통합 이해를 위한 대규모이고 도전적인 벤치마크의 부족을 해결하기 위해.
• 영상과 자막이 함께 있는 영상과 자연어 가설 간의 함의 또는 모순 여부를 판단하는 새로운 작업인 영상-언어 추론을 제안하기 위해.
• 이중 검토 전략을 활용하여 시간적 동적 변화, 사회적 상호작용, 복잡한 추론 요구 사항을 포함하는 다양한 고품질 데이터셋을 수집하기 위해.
• 최신 기술 모델을 이 새로운 벤치마크에서 평가하고 영상과 텍스트 간의 다중모달 추론에서 발생하는 주요 과제를 규명하기 위해.
• 영상 이해 작업에서 다중모달 표현 학습과 추론을 발전시키기 위한 기반을 마련하기 위해.

제안 방법

• 텔레비전 프로그램과 유튜브 영화 채널에서 15,887개의 영상 클립을 수집하였으며, 각 클립은 정렬된 자막과 함께 6개의 가설(3개의 양성, 3개의 부정성)과 연결되었다.
• 부정적 문장 수집을 위한 두 가지 전략을 활용하였다: (i) 양성 문장의 최소 수정을 통해 스타일과 길이를 유지하고, (ii) 다른 영상의 혼동스러운 문장을 선택하여 악성 매칭을 수행하였다.
• 문맥 기반 텍스트 표현을 위해 BERT를 사용하였고, 객체 검출 및 지역적 특징을 위해 ResNet과 Faster R-CNN에서 유도된 시각적 특징을 활용하였다.
• BERT, LXMERT 및 다중모달 인코더를 포함한 다양한 모델을 평가하였으며, 입력 모odal 조합(텍스트, 영상, 자막)에 대한 분석 실험도 수행하였다.
• 예측 오류에 대한 정성적 분석을 수행하여 원인 추론 및 인간 관계에 대한 추론에서의 실패 원인을 규명하였다.
• 다양한 입력 조합에 대한 인간 평가를 수행하여 영상, 자막, 텍스트가 추론 성능에 기여하는 정도를 측정하였다.

실험 결과

연구 질문

• RQ1 다양하고 복잡한 추론 요구 사항을 가진 대규모이고 다양한 영상 데이터셋에서 기존의 다중모달 모델은 영상-언어 추론 작업을 얼마나 효과적으로 수행하는가?
• RQ2 악성으로 샘플된 부정적 문장과 인간이 작성한 부정적 문장은 난이도에서 어떻게 다를지, 그리고 모델의 일반화 능력을 얼마나 도전하는가?
• RQ3 영상, 자막, 텍스트 중 어떤 모odal이 영상-언어 이해 작업에서 정확한 추론에 가장 기여하는가?
• RQ4 현재 모델이 가장 어려워하는 추론 유형은 무엇인가? (예: 시각적 인식, 동작 인식, 원인 추론 등)
• RQ5 다양한 특징 표현 방식(예: BERT 대비 GloVe, Visual Genome에서 유도된 시각적 특징 등)은 Violin 벤치마크에서 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 최고의 기준 모델(BERT + 시각적 특징)은 악성으로 샘플된 부정적 문장에서 67.60%의 정확도를 기록하였으며, 인간 성능(85.20%)에 비해 크게 떨어졌다.
• 영상 입력을 추가함으로써 텍스트 전용 입력(51.38%) 대비 정확도가 13.01% 향상되어(77.19% vs. 51.38%) 시각적 맥락의 핵심적 역할을 확인하였다.
• 영상 특징이 포함되었을 때 '시각적 인식'과 '동작 인식' 작업에서 성능 향상이 가장 크게 나타났지만, '대화 추론'과 '인간 역학' 작업에서는 성능 향상이 미미했다.
• 악성으로 샘플된 부정적 문장은 인간이 작성한 문장보다 더 어려웠으며, 모델은 악성 부정적 문장에서 67.60%의 정확도를 기록한 반면 인간이 작성한 문장에서는 66.05%를 기록하여 더 높은 추론 요구 수준을 확인하였다.
• 모델는 '원인 추론'과 '인간 관계'에서 가장 어려움을 겪었으며, 시각적 특징만으로 정확도가 50.00%로 떨어져 원인 및 사회적 추론 능력의 한계를 보여주었다.
• 인간 평가 결과, 영상가지 자막보다 더 큰 성능 향상을 제공함을 확인하여 이 작업에서 시각 신호가 텍스트 기반 설명보다 더 정보가 많음을 입증하였다.