[논문 리뷰] Movie Description

Anna Rohrbach, Atousa Torabi외 6명|arXiv (Cornell University)|2016. 05. 12.

Subtitles and Audiovisual Media인용 수 5

한 줄 요약

이 논문은 202部의 영화에서 유래한 118,114개의 시간적으로 정렬된 영상 클립과 설명을 포함하는 대규모 영화 설명 챌린지(LSMDC)를 소개한다. 이 데이터셋은 시각 장애인을 위한 청각 설명(ADs)과 영화 스크립트를 결합한 것이다. 청각 설명은 스크립트보다 더 시각적으로 정확하고 관련성이 높으며, 인간 평가에서 정확성, 문법, 관련성 측면에서 Frame-Video-Concept Fusion가 다른 방법보다 뛰어나며, 설명 품질의 최적의 균형을 달성한다.

ABSTRACT

Audio Description (AD) provides linguistic descriptions of movies and allows visually impaired people to follow a movie along with their peers. Such descriptions are by design mainly visual and thus naturally form an interesting data source for computer vision and computational linguistics. In this work we propose a novel dataset which contains transcribed ADs, which are temporally aligned to full length movies. In addition we also collected and aligned movie scripts used in prior work and compare the two sources of descriptions. In total the Large Scale Movie Description Challenge (LSMDC) contains a parallel corpus of 118,114 sentences and video clips from 202 movies. First we characterize the dataset by benchmarking different approaches for generating video descriptions. Comparing ADs to scripts, we find that ADs are indeed more visual and describe precisely what is shown rather than what should happen according to the scripts created prior to movie production. Furthermore, we present and compare the results of several teams who participated in a challenge organized in the context of the workshop "Describing and Understanding Video & The Large Scale Movie Description Challenge (LSMDC)", at ICCV 2015.

연구 동기 및 목표

• 시각적 및 언어적 분석을 위한 대규모 시간적으로 정렬된 영화 설명 데이터셋을 구축하기 위해.
• 시각 장애인을 위한 청각 설명(ADs)과 전통적인 영화 스크립트를 영상 설명의 원천으로 비교하기 위해.
• 자동화된 평가 지표와 인간 평가 지표를 모두 활용하여 자동 비디오 설명 모델을 평가하고 벤치마킹하기 위해.
• 다양한 딥 러닝 아키텍처가 정확하고 문법적으로 올바르며 관련성이 높은 비디오 설명을 생성하는 데서의 강점과 한계를 이해하기 위해.

제안 방법

• 202편의 전장 영화에서 유래한 118,114개의 문장-영상 클립 쌍을 포함하는 새로운 데이터셋인 LSMDC를 제안한다.
• 청각 설명(ADs)과 영화 스크립트를 수집하고 정렬하여, 두 요소 간의 시각적 정확도를 비교 분석할 수 있도록 한다.
• 행동, 대상, 장소에 대해 별도의 분류기를 훈련시키며, 신뢰할 수 있는 시각적 점수를 입력으로 사용해 LSTM을 활용해 문장을 생성하는 모델인 Visual-Labels를 개발한다.
• 프레임 수준의 비디오 특징, 시간적 어텐션 메커니즘, 비디오-개념 융합을 활용해 설명의 정확성과 통일성을 향상시킨다.
• 자동 평가 지표(예: BLEU, ROUGE)와 인간 평가를 병행하여 모델 출력을 정확성, 문법, 관련성, 시각 장애인을 위한 유용성 측면에서 순위 매긴다.
• ICCVD 2015에서 12개의 다른 접근 방식을 벤치마킹하기 위해 챌린지를 조직한다.

실험 결과

연구 질문

• RQ1 청각 설명(ADs)이 영상 콘텐츠에 대해 시각적으로 정확하고 관련성이 있는지, 기존 영화 스크립트와 비교해 어떻게 다를까?
• RQ2 인간 평가 기준으로 볼 때, 어떤 딥 러닝 아키텍처가 가장 정확하고 문법적으로 올바르며 관련성이 높은 비디오 설명을 생성하는가?
• RQ3 문장 수준의 설명이 함께 제공된 약한 레이블을 가진 영상 클립으로 훈련된 모델이, 훈련 중에 보이지 않은 장기 꼬리 시각적 개념에 잘 일반화될 수 있는가?
• RQ4 자동 평가 지표가 인간의 판단과 얼마나 관련이 있는가? 특히 시각 장애인을 위한 유용성 평가에서 말이다?
• RQ5 S2VT, Visual-Labels, 또는 Frame-Video-Concept Fusion와 같은 모델 아키텍처의 영향은 설명 품질과 오류 패턴에 어떻게 작용하는가?

주요 결과

• 청각 설명(ADs)은 스크립트보다 시각적으로 정확하고 관련성이 높으며, 스크립트는 종종 장면에 보이지 않는 서사적 또는 계획된 행동을 포함한다.
• Frame-Video-Concept Fusion는 정확성, 문법, 관련성 측면에서 인간 평가에서 가장 높은 점수를 기록했으며, 더 짧고 단순한 문장을 생성함에도 불구하고 다른 모델을 압도했다.
• S2VT와 Visual-Labels는 더 길고 다양한 설명을 생성했지만 오류 비율이 높아 내용 오류나 문법 오류로 인해 인간 평가 순위가 낮아졌다.
• 인간 평가 결과는 평가 질문에 따라 크게 달라졌다: 시각 장애인을 위한 유용성에 대해 높게 평가된 모델이 항상 문법 정확성이나 관련성 측면에서 높은 순위를 받는 것은 아니었다.
• 모든 모델가 장기 꼬리 시각적 개념에서 어려움을 겪었으며, 이는 대규모 훈련 데이터가 있더라도 새로운 또는 희귀한 시각적 요소는 여전히 지속적인 과제임을 시사한다.
• LSMDC 데이터셋은 영상-문장 임베딩, 스토리 이해, 개방형 환경에서의 다중 문장 영상 이해 분야에서 새로운 연구를 가능하게 한다.