[논문 리뷰] Multilevel profiling of situation and dialogue-based deep networks for movie genre classification using movie trailers

Dinesh Kumar Vishwakarma, Mayank Jindal외 2명|arXiv (Cornell University)|2021. 09. 14.

Video Analysis and Summarization인용 수 5

한 줄 요약

이 논문은 영화 예고편을 이용한 영화 장르 분류를 위한 다수준 딥러닝 프레임워크를 제안하며, 상황 기반 시각적 특징(명사/동사), 대화 음성 특징, 메타데이터를 통합한다. 이러한 모odalities를 조기에 융합하고 새로운 영어 영화 예고편 데이터셋(EMTD)과 LMTD-9에서 평가함으로써, 액션, 러브스토리, 코미디, 호러, SF 등 5개 장르에서 높은 F1 점수, 정밀도, 재현율 및 AUPRC를 기록하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Automated movie genre classification has emerged as an active and essential area of research and exploration. Short duration movie trailers provide useful insights about the movie as video content consists of the cognitive and the affective level features. Previous approaches were focused upon either cognitive or affective content analysis. In this paper, we propose a novel multi-modality: situation, dialogue, and metadata-based movie genre classification framework that takes both cognition and affect-based features into consideration. A pre-features fusion-based framework that takes into account: situation-based features from a regular snapshot of a trailer that includes nouns and verbs providing the useful affect-based mapping with the corresponding genres, dialogue (speech) based feature from audio, metadata which together provides the relevant information for cognitive and affect based video analysis. We also develop the English movie trailer dataset (EMTD), which contains 2000 Hollywood movie trailers belonging to five popular genres: Action, Romance, Comedy, Horror, and Science Fiction, and perform cross-validation on the standard LMTD-9 dataset for validating the proposed framework. The results demonstrate that the proposed methodology for movie genre classification has performed excellently as depicted by the F1 scores, precision, recall, and area under the precision-recall curves.

연구 동기 및 목표

• 기존 접근 방식이 인지적 또는 정서적 특징에만 초점을 맞추는 데에 그치는 점을 보완하기 위해, 이를 통합한 유일한 프레임워크를 개발하는 것.
• 더 나은 훈련과 평가를 위해 5개 장르에 걸쳐 2000개의 할리우드 예고편을 포함한 새로운 대규모 영어 영화 예고편 데이터셋(EMTD)을 개발하는 것.
• 딥러닝 처리 이전에 상황, 대화, 메타데이터 표현을 융합하는 사전 특징 융합 아키텍처를 설계하는 것.
• 예고편으로부터 인지적(콘텐츠) 및 정서적(감정 톤) 신호를 활용하여 강력하고 정확한 영화 장르 분류를 달성하는 것.
• 표준 LMTD-9 데이터셋에서 교차 검증을 수행하여 프레임워크의 효과성을 검증하고, 뛰어난 성능 지표를 입증하는 것.

제안 방법

• 프레임워크는 예고편의 정적 프레임에서 명사 및 동사 탐지를 통해 상황 기반 특징을 추출하여 장르와 연관된 맥락적 및 정서적 신호를 포착한다.
• 대화 기반 특징은 음성 전사 자료를 활용한 음성 처리 기법을 통해 추출되어 언어적 및 정서적 콘텐츠를 모델링한다.
• 감독, 출연진, 제작 연도 등의 메타데이터 특징은 인지적 이해를 풍부하게 하기 위해 보조 입력으로 통합된다.
• 사전 특징 융합 전략은 예고편의 상황, 대화, 메타데이터 임베딩을 조기 융합하여 딥 네트워크에 입력함으로써 엔드 투 엔드 훈련을 수행한다.
• 모델은 융합된 다중모달 입력에서 계층적 표현을 학습하기 위해 딥 네트워크(CNN 또는 트랜스포머 등)를 활용한다.
• 일반화 성능 평가를 위해 LMTD-9 데이터셋에서 교차 검증을 수행하며, F1 점수, 정밀도, 재현율 및 AUPRC로 성능을 측정한다.

실험 결과

연구 질문

• RQ1 상황, 대화, 메타데이터 특징의 다중모달 융합이 단모달 또는 후기 융합 접근 방식을 초월해 영화 장르 분류 성능을 향상시킬 수 있는가?
• RQ2 제안된 사전 특징 융합 전략이 영화 예고편에서 인지적 및 정서적 신호를 얼마나 효과적으로 포착하는가?
• RQ3 신규로 제작된 EMTD 데이터셋이 기존 벤치마크에 비해 모델 성능 향상에 어느 정도 기여하는가?
• RQ4 표준 장르 분류 벤치마크에서 제안된 프레임워크가 최신 기술 수준의 방법들에 비해 비교적 어떻게 성능을 내는가?
• RQ5 개별 모달리티(상황, 대화, 메타데이터)가 최종 분류 정확도에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 프레임워크는 LMTD-9 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 액션, 러브스토리, 코미디, 호러, SF 등 5개 장르 전반에서 높은 F1 점수를 기록하였다.
• 모델은 높은 정밀도 및 재현율을 보이며 다양한 장르 카테고리에서 균형 잡히고 신뢰할 수 있는 분류 성능을 입증하였다.
• 정밀도-재현율 곡선 아래 면적(AUPRC)이 크게 향상되어, 불균형한 장르 분포 상황에서도 강력한 성능을 보임을 확인하였다.
• 상황 기반 시각적 특징(명사/동사)의 통합은 정서적 맵핑을 향상시켜 더 나은 장르 식별에 기여하였다.
• 대화 기반 음성 특징은 감정적 및 언어적 신호를 효과적으로 포착하여 호러 및 러브스토리 장르의 분류 성능을 향상시켰다.
• 2000개의 할리우드 예고편을 포함한 EMTD 데이터셋은 향후 예고편 기반 장르 분류 연구를 위한 귀중하고 다양한, 균형 잡힌 기준이 되었다.