[논문 리뷰] Competitive Analysis System for Theatrical Movie Releases Based on Movie Trailer Deep Video Representation

Miguel Del Campo, Cheng-Kang Hsieh외 6명|arXiv (Cornell University)|2018. 07. 12.

Image and Video Quality Assessment참고 문헌 18인용 수 9

한 줄 요약

이 논문은 영화 예고편에서 추출한 사전 훈련된 컨volutional 네트워크를 활용해 영상 표현을 얻는 새로운 하이브리드 공동 필터링 시스템인 Merlin Video를 제안한다. 이 시스템은 극장 개봉 8개월 전까지 관객 행동과 경쟁 영화 비교를 예측할 수 있으며, 텍스트 기반 기준 모델 대비 최대 6.5% AUC 향상을 달성한다. 또한 프레임 수준의 시각적 특징과 이전 관람 데이터를 융합하여 정확한 콜드스타트 예측을 가능하게 한다.

ABSTRACT

Audience discovery is an important activity at major movie studios. Deep models that use convolutional networks to extract frame-by-frame features of a movie trailer and represent it in a form that is suitable for prediction are now possible thanks to the availability of pre-built feature extractors trained on large image datasets. Using these pre-built feature extractors, we are able to process hundreds of publicly available movie trailers, extract frame-by-frame low level features (e.g., a face, an object, etc) and create video-level representations. We use the video-level representations to train a hybrid Collaborative Filtering model that combines video features with historical movie attendance records. The trained model not only makes accurate attendance and audience prediction for existing movies, but also successfully profiles new movies six to eight months prior to their release.

연구 동기 및 목표

• 개봉 전 콜드스타트 단계에서 신규 극장 영화의 관객 수요와 경쟁 환경을 예측하는 데 도전하는 것.
• 텍스트 기반 줄거리에만 의존하는 것이 아니라, 얼굴, 물체, 장면과 같은 저수준의 시각적 특징을 활용하는 시스템을 개발하는 것.
• 조기 데이터 기반 예측을 통해 관객 탐색 및 마케팅 전략을 향상시키기 위해 영화 성과와 타깃 연령층을 조기에 예측하는 것.
• 전통적인 텍스트 기반 접근 방식과 비교하여 영상 기반 표현이 공동 필터링 모델에서 얼마나 효과적인지 평가하는 것.

제안 방법

• 예고편의 프레임 단위로 시각적 특징을 추출하기 위해 사전 훈련된 컨volutional 신경망(예: Inception 또는 ResNet 변종)을 활용한다.
• 전체 예고편을 대표하는 단일 밀도 영상 수준 임베딩을 생성하기 위해 프레임 간 평균 풀링을 적용한다.
• 이러한 영상 수준 임베딩과 이전 영화 관람 및 인구 통계 데이터를 융합하여 하이브리드 공동 필터링 모델을 훈련한다.
• 특히 행렬 내 및 콜드스타트 추천 시나리오에서 일반화 성능을 향상시키기 위해 오프셋 벡터 정규화 기법을 적용한다.
• 대규모 실세계 데이터셋을 기반으로 AUC를 주 평가 지표로 사용하여 텍스트 기반 기준 모델(예: Merlin Text, CDL, RF)과 성능을 비교한다.
• 개봉 전 예측한 경쟁 영화(Comps)를 실제 박스오피스 성과와 개봉 후 관객 겹침을 비교하여 예측을 검증한다.

실험 결과

연구 질문

• RQ1 예고편에서 추출한 딥 뷰잉 표현이 텍스트 기반 모델과 비교해 행렬 내 및 콜드스타트 시나리오에서 관객 예측 정확도를 향상시킬 수 있는가?
• RQ2 영상 기반 예측이 텍스트 기반 예측과 어떻게 다를 수 있으며, 이러한 차이점은 마케팅 전략에 어떤 통찰을 제공하는가?
• RQ3 평균 풀링을 통한 시간 정보 손실이 모델의 예측 능력에 얼마나 큰 영향을 미치며, 이를 어떻게 완화할 수 있는가?
• RQ4 영상과 텍스트 특징을 융합하면 단일 모odal의 경우보다 더 강력하고 정확한 관객 예측 모델을 만들 수 있는가?

주요 결과

• Merlin Video는 행렬 내 시나리오에서 AUC 0.747, 콜드스타트 시나리오에서 AUC 0.708을 기록하며, 텍스트 기반 기준 모델 대비 최대 6.5% AUC 향상을 달성한다.
• 영상 기반 모델은 다른 모odal에서 훈련되었음에도 불구하고, 특히 콜드스타트 예측에서 텍스트 기반 Merlin Text 모델과 유사한 성능을 보였다.
• 예고편 영상 기반 예측한 경쟁 영화(Comps)는 텍스트 기반 예측과 의미 있는 차이를 보였다. 예를 들어, Hidden Figures의 관객은 영상 기반 예측에서는 The Greatest Showman에 관람할 것으로 예측되었지만, 텍스트 기반 예측에서는 그렇지 않았다.
• 모델은 개봉 8개월 전부터 관객 겹침과 경쟁 역학을 성공적으로 식별하여 조기 전략 기획을 가능하게 했다.
• 결과적으로 영상과 텍스트 표현은 영화의 보완적인 측면을 포착하므로, 하이브리드 모델링의 강력한 잠재력을 보여준다.
• 평균 풀링을 통한 시간 정보 손실는 이벤트 순서와 영화적 서사 구조의 정보 손실를 초래하며, 향후 모델에서 시간적 구조를 유지하는 것이 필요함을 시사한다.