[論文レビュー] Multilevel profiling of situation and dialogue-based deep networks for movie genre classification using movie trailers

Dinesh Kumar Vishwakarma, Mayank Jindal+2 more|arXiv (Cornell University)|Sep 14, 2021

Video Analysis and Summarization被引用数 5

ひとこと要約

本稿では、映画予告編を用いた映画ジャンル分類のためのマルチレベルディープラーニングフレームワークを提案する。視覚的特徴（名詞/動詞に基づく状況的特徴）、会話音声特徴、メタデータを統合する。これらのモダリティを早期に融合し、新しい英語映画予告編データセット（EMTD）およびLMTD-9を用いて評価することで、アクション、ロマンス、コメディ、ホラー、SFの5ジャンルにおいて、F1スコア、精度、再現率、AUPRCが優れた結果を達成し、最先端の性能を実現した。

ABSTRACT

Automated movie genre classification has emerged as an active and essential area of research and exploration. Short duration movie trailers provide useful insights about the movie as video content consists of the cognitive and the affective level features. Previous approaches were focused upon either cognitive or affective content analysis. In this paper, we propose a novel multi-modality: situation, dialogue, and metadata-based movie genre classification framework that takes both cognition and affect-based features into consideration. A pre-features fusion-based framework that takes into account: situation-based features from a regular snapshot of a trailer that includes nouns and verbs providing the useful affect-based mapping with the corresponding genres, dialogue (speech) based feature from audio, metadata which together provides the relevant information for cognitive and affect based video analysis. We also develop the English movie trailer dataset (EMTD), which contains 2000 Hollywood movie trailers belonging to five popular genres: Action, Romance, Comedy, Horror, and Science Fiction, and perform cross-validation on the standard LMTD-9 dataset for validating the proposed framework. The results demonstrate that the proposed methodology for movie genre classification has performed excellently as depicted by the F1 scores, precision, recall, and area under the precision-recall curves.

研究の動機と目的

• 認知的特徴や感情的特徴にのみ焦点を当てる従来のアプローチのギャップを埋めるために、両者を統合した統一フレームワークを構築すること。
• より良い学習と評価を可能にするために、5ジャンルにわたる2000本のハリウッド予告編を含む、新規の大型英語映画予告編データセット（EMTD）を構築すること。
• ディープラーニング処理の前段階で、状況、会話、メタデータの表現を統合する、プリフィーチャーフュージョンアーキテクチャを設計すること。
• 予告編からの認知的（コンテンツ）および感情的（感情的トーン）な信号を活用することで、堅牢で正確な映画ジャンル分類を実現すること。
• 標準的なLMTD-9データセットを用いた交差検証を通じて、フレームワークの有効性を検証し、優れた性能指標を示すこと。

提案手法

• フレームワークは、静的予告編フレームから名詞および動詞の検出を用いて、ジャンルに関連する文脈的・感情的ヒントを捉える状況ベースの特徴を抽出する。
• 会話ベースの特徴は、音声トランスクリプトからスピーク処理技術を用いて抽出され、言語的および感情的コンテンツをモデル化する。
• 監督、俳優、公開年などのメタデータ特徴は、認知的理解を豊かにする補助入力として統合される。
• プリフィーチャーフュージョン戦略により、状況、会話、メタデータの埋め込み表現を統合し、それをディープニューラルネットワークに供給してエンドツーエンド学習を実行する。
• モデルは、統合されたマルチモーダル入力から階層的表現を学習するため、ディープネットワーク（例：CNNやTransformer）を採用する。
• 一般化性能の評価のため、LMTD-9データセットで交差検証を実施し、F1スコア、精度、再現率、AUPRCを指標に性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 状況、会話、メタデータのマルチモーダル統合は、単一モーダルまたは遅延統合アプローチを上回る映画ジャンル分類を可能にするか？
• RQ2 提案されたプリフィーチャーフュージョン戦略は、映画予告編からの認知的および感情的信号をどれほど効果的に捉えられるか？
• RQ3 新たに作成されたEMTDデータセットは、既存のベンチマークと比較して、モデル性能をどの程度向上させるか？
• RQ4 標準的なジャンル分類ベンチマークにおいて、提案されたフレームワークは最先端の手法と比較してどの程度の性能を示すか？
• RQ5 個々のモダリティ（状況、会話、メタデータ）は、最終的な分類精度にどの程度寄与しているか？

主な発見

• 提案フレームワークは、LMTD-9データセットにおいて最先端の性能を達成し、アクション、ロマンス、コメディ、ホラー、SFの5ジャンルすべてで高いF1スコアを記録した。
• モデルは高い精度と再現率を示しており、多様なジャンルカテゴリにおいてバランスが取れ、信頼性の高い分類が可能であることを示した。
• 精度-再現率曲線下積分（AUPRC）が顕著に向上し、ジャンル分布の不均衡な状況でも堅牢な性能を確認した。
• 状況ベースの視覚的特徴（名詞/動詞）の統合により、感情的マッピングが向上し、より良いジャンル識別に寄与した。
• 会話ベースの音声特徴は、感情的および言語的ヒントを効果的に捉えており、ホラーおよびロマンスなどのジャンル分類を向上させた。
• 2000本のハリウッド予告編を含むEMTDデータセットは、将来的な予告編ベースのジャンル分類研究における価値ある、多様でバランスの取れたベンチマークを提供する。