[논문 리뷰] MovieNet: A Holistic Dataset for Movie Understanding

Qingqiu Huang, Yu Xiong외 3명|arXiv (Cornell University)|2020. 07. 21.

Human Pose and Action Recognition참고 문헌 82인용 수 13

한 줄 요약

MovieNet는 캐릭터, 장면, 행동, 영화적 스탣, 정렬된 설명에 걸쳐 광범위한 애너테이션을 포함하는 1,100편의 영화로 구성된 대규모 다중 모odal 데이터셋이다. 이는 장르 분석, 캐릭터 추적, 장면 분할, 검색과 같은 벤치마크를 통해 종합적인 영화 이해를 가능하게 하며, 풍부하고 통합적인 애너테이션에도 불구하고 현재 모델들이 겪는 심각한 격차를 드러낸다.

ABSTRACT

Recent years have seen remarkable advances in visual understanding. However, how to understand a story-based long video with artistic styles, e.g. movie, remains challenging. In this paper, we introduce MovieNet -- a holistic dataset for movie understanding. MovieNet contains 1,100 movies with a large amount of multi-modal data, e.g. trailers, photos, plot descriptions, etc. Besides, different aspects of manual annotations are provided in MovieNet, including 1.1M characters with bounding boxes and identities, 42K scene boundaries, 2.5K aligned description sentences, 65K tags of place and action, and 92K tags of cinematic style. To the best of our knowledge, MovieNet is the largest dataset with richest annotations for comprehensive movie understanding. Based on MovieNet, we set up several benchmarks for movie understanding from different angles. Extensive experiments are executed on these benchmarks to show the immeasurable value of MovieNet and the gap of current approaches towards comprehensive movie understanding. We believe that such a holistic dataset would promote the researches on story-based long video understanding and beyond. MovieNet will be published in compliance with regulations at https://movienet.github.io.

연구 동기 및 목표

• 고립된 작업을 넘어서 종합적인 영화 이해를 위한 대규모 다중 모달 데이터셋의 부족을 보완하기 위해.
• 스토리 기반 장시간 영상에 대해 캐릭터, 장면, 행동, 영화적 스타일, 정렬된 설명에 걸쳐 풍부하고 구조화된 애너테이션을 제공하기 위해.
• 캐릭터 신원, 장면 경계, 영화적 스타일 등 다양한 차원에서 종합적인 영화 이해를 평가하는 벤치마크를 구축하기 위해.
• 현재 모델들이 스토리 이해를 위해 다수 수준의 의미적 및 시각적 신호를 통합하는 데에 미치는 한계를 드러내기 위해.
• 통합적이고 확장 가능한 데이터셋을 통해 영상 편집, 인간 중심의 이해, 스토리 기반 영상 분석 분야의 연구를 촉진하기 위해.

제안 방법

• MovieNet는 3,000시간의 영상, 390만 장의 사진, 1,000만 개의 텍스트 문장, 700만 개의 메타데이터 항목을 포함하는 다중 모달 통합 데이터셋을 구축한다.
• 이 데이터셋은 110만 개의 캐릭터 인스턴스(경계 상자 및 신원 정보 포함), 42,000개의 장면 경계, 65,000개의 행동/장소 태그, 12,000개의 정렬된 설명 문장, 92,000개의 영화적 스타일 애너테이션을 제공한다.
• 다양한 벤치마크를 지원한다: 장르 분석, 영화적 스타일 예측, 캐릭터 분석, 장면 이해, 영화 세그먼트 검색.
• 주의 메커니즘과 다중 모달 임베딩을 활용하여 외관, 자막, 행동, 캐릭터, 영화적 스타일 특징을 통합하는 그래프 기반 모델을 제안한다.
• 특징 추출은 시각적 특징에 대해 ResNet-101, 텍스트 특징에 대해 Word2Vec, 행동 특징에 대해 TSN 특징, 검출된 캐릭터의 얼굴/신체 특징에 대해 사전 학습된 모델을 사용한다.
• 유사도를 최적화하기 위해 마진 α = 0.2를 가진 쌍별 순위 손실을 사용하여 모델을 훈련한다. 이는 관련된 세그먼트-문장 쌍 간의 유사도를 향상시키기 위함이다.

실험 결과

연구 질문

• RQ1 MovieNet와 같이 통합적이고 다중 애너테이션된 대규모 데이터셋으로 훈련된 모델이 종합적인 영화 이해 작업에서 얼마나 잘 성과를 낼 수 있는가?
• RQ2 캐릭터 신원, 영화적 스타일, 장면 경계와 같은 통합적 애너테이션은 스토리 수준의 영상 이해 향상에 어떤 영향을 미치는가?
• RQ3 MovieNet의 고품질 애너테이션으로 설정된 성능 상한선에 비해 현재 모델들은 어떻게 비교되는가?
• RQ4 다중 모달 특징(시각적, 텍스트, 행동, 영화적 스타일)은 세그먼트 검색 및 이해 성능 향상에 얼마나 기여하는가?
• RQ5 영화적 스타일 애너테이션의 통합은 모델이 중요한 서사 순간을 탐지하는 능력을 향상시키는가?

주요 결과

• MovieNet는 1,100편의 영화를 포함하며, 110만 개의 캐릭터 인스턴스, 42,000개의 장면 경계, 65,000개의 행동/장소 태그, 12,000개의 정렬된 설명 문장, 92,000개의 영화적 스타일 애너테이션을 포함하여 영화 이해 분야에서 가장 크고 종합적인 데이터셋이다.
• 광범위한 실험 결과, 최신 기술 모델과 MovieNet의 애너테이션으로 설정된 상한선 사이에 뚜렷한 성능 격차가 존재함을 확인하였으며, 향후 개선 여지가 매우 크다는 것을 시사한다.
• 영화적 스타일 특징의 통합은 모델이 핵심 서사 순간에 더 집중하도록 유도하며, 이는 스토리 이해에서의 가치를 입증한다.
• 외관, 자막, 행동, 캐릭터 신원 등의 다중 모달 특징은 단일 모달 기반 베이스라인에 비해 검색 및 이해 성능을 크게 향상시킨다.
• 주의 메커니즘을 활용한 제안된 그래프 기반 모델은 세그먼트 검색 및 캐릭터 상호작용 모델링에서 뛰어난 성능을 기록하여, 구조화된 다수 수준의 애너테이션의 효과성을 입증한다.
• 데이터 크롤링, 전처리, 생성, 파싱을 위한 완전한 툴박스와 함께 데이터셋과 벤치마크는 https://movienet.github.io 에 공개되어 있다.