[논문 리뷰] Moviescope: Large-scale Analysis of Movies using Multiple Modalities

Paola Cascante-Bonilla, K. Sitaraman외 2명|arXiv (Cornell University)|2019. 08. 08.

Video Analysis and Summarization참고 문헌 39인용 수 14

한 줄 요약

이 논문은 5,000部 영화의 영상 트레일러, 오디오, 영화 포스터, 줄거리, 메타데이터를 포함하는 대규모 다중모态 데이터셋인 Moviescope를 소개하고, 비디오와 텍스트를 고정 크기의 임베딩으로 표현하기 위해 평균 풀링을 사용하는 간단하면서도 효과적인 인코딩 기법인 fastVideo와 fastText를 제안한다. 내용 기반 특징(특히 오디오와 텍스트)이 메타데이터보다 영화 제작비 예측에서 뛰어나며, 다중모달 융합이 장르 예측에 도움이 되며, 딥러닝 모델이 텍스트 및 영상 입력에서 인간 수준의 성능을 도달하거나 초월함을 입증한다.

ABSTRACT

Film media is a rich form of artistic expression. Unlike photography, and short videos, movies contain a storyline that is deliberately complex and intricate in order to engage its audience. In this paper we present a large scale study comparing the effectiveness of visual, audio, text, and metadata-based features for predicting high-level information about movies such as their genre or estimated budget. We demonstrate the usefulness of content-based methods in this domain in contrast to human-based and metadata-based predictions in the era of deep learning. Additionally, we provide a comprehensive study of temporal feature aggregation methods for representing video and text and find that simple pooling operations are effective in this domain. We also show to what extent different modalities are complementary to each other. To this end, we also introduce Moviescope, a new large-scale dataset of 5,000 movies with corresponding movie trailers (video + audio), movie posters (images), movie plots (text), and metadata.

연구 동기 및 목표

• 5,000부 영화의 영상 트레일러, 오디오, 포스터, 줄거리, 메타데이터를 포함하는 종합적이고 대규모의 다중모달 데이터셋을 개발하는 것.
• 장르 및 제작비와 같은 고수준 영화 속성 예측에 시각적, 청각적, 텍스트적, 메타데이터 기반 특징의 효과성을 평가하는 것.
• 콘텐츠 기반 표현(비디오, 오디오, 텍스트)이 메타데이터 또는 인간 기반 예측보다 영화 이해 작업에서 뛰어나지 못할지 조사하는 것.
• LSTM과 같은 더 복잡한 모델에 비해 평균 풀링과 같은 단순한 특징 집계 기법(fastVideo, fastText)이 다중모달 영상 및 텍스트 표현에서 어떻게 성능을 내는지 벤치마킹하는 것.

제안 방법

• 비디오 트레일러를 고정 크기의 임베딩으로 인코딩하기 위해 프레임 수준 특징에 대한 평균 풀링을 사용하는 fastVideo를 제안한다.
• 영화 줄거리의 워드 수준 임베딩에 평균 풀링을 적용하여 fastText를 텍스트 인코딩에 도입한다.
• 5,000부 영화의 영상 트레일러, 영화 포스터, 줄거리, 메타데이터 간의 정제된 매핑을 포함하는 새로운 데이터셋인 Moviescope를 구축한다.
• 비디오, 오디오, 텍스트, 포스터, 메타데이터 특징을 후기 융합 전략을 통해 후기 상호작용 레이어를 사용해 융합한다.
• 비디오 모odal리티의 기준 특징으로 I3D를, 오디오 모달리티의 기준 특징으로 오디오 임베딩을 사용한다.
• 아마존 Mechanical Turk를 통해 인간 성능과 다양한 모달리티에서의 장르 분류 예측 성능을 비교하기 위한 사용자 연구를 수행한다.

실험 결과

연구 질문

• RQ1 콘텐츠 기반 특징(비디오, 오디오, 텍스트)이 메타데이터 또는 인간 판단보다 장르 및 제작비와 같은 고수준 영화 속성 예측에 효과적으로 작용할 수 있는가?
• RQ2 비디오 및 텍스트 표현에서 더 복잡한 RNN 기반 모델에 비해 단순한 풀링 기반 인코딩(fastVideo, fastText)의 효과는 어떠한가?
• RQ3 비디오, 오디오, 텍스트, 포스터, 메타데이터 등의 다양한 모달리티가 영화 속성 예측에서 얼마나 상호보완적인가?
• RQ4 다양한 모달리티를 사용할 때 딥러닝 모델의 성능이 인간 성능과 비교해 어떻게 되는가?
• RQ5 영화 트레일러의 오디오가 영상 콘텐츠보다 제작비 추정에 더 강력한 신호를 제공하는가?

주요 결과

• 제작비 추정 과제에서 영화 트레일러의 오디오 특징이 35.7%의 mAP를 기록하여 비디오(32.9%)와 텍스트(36.1%)를 모두 앞서며 가장 높은 성능 기록.
• 메타데이터 특징이 제작비 예측에서 가장 높은 정확도(91.0% mAP)를 기록하여 모든 콘텐츠 기반 모달리티를 크게 앞서며 뛰어난 성능을 보였다.
• fastVideo와 fastText 인코딩은 경쟁적인 성능을 기록했으며, 일부 경우에서 I3D 기반 모델보다 fastVideo가 뛰어나고, 장르 분류 과제에서 LSTM 기반 접근 방식과 동등하거나 이를 초월했다.
• 비디오 모달리티에서 인간의 성능은 장르 예측에서 63.0 mAP였고 VAPTM 모델의 성능은 68.6 mAP였으며, 인간의 성능이 떨어졌지만, 텍스트 모달리티에서는 인간의 성능이 69.7 mAP였고 모델 성능이 72.7 mAP로 인간을 앞서는 결과를 보였다.
• 모든 모달리티(비디오, 오디오, 텍스트, 포스터, 메타데이터)를 사용한 모델이 장르 예측에서 가장 높은 mAP 75.3%를 기록하여 다양한 모달리티 간의 강력한 상호보완성이 입증되었다.
• 장르와 제작비 레벨 간에 강한 상관관계가 없었으며, 판타지와 액션은 고제작비 레벨에 우세하게 분포해 있었지만, 과학소설 장르는 모든 레벨에 분포해 있어 복잡한 장르-제작비 역학을 보였다.