[論文レビュー] Competitive Analysis System for Theatrical Movie Releases Based on Movie Trailer Deep Video Representation

Miguel Del Campo, Cheng-Kang Hsieh+6 more|arXiv (Cornell University)|Jul 12, 2018

Image and Video Quality Assessment参考文献 18被引用数 9

ひとこと要約

本稿では、映画予告編から事前学習済み畳み込みニューラルネットワークを用いて抽出した深層動画表現を活用する、Merlin Video と呼ばれる新規なハイブリッド共同フィルタリングシステムを提案する。このモデルは、劇場公開の8か月前までに観客行動や競合映画の比較を予測可能であり、テキストベースのベースラインと比較して最大6.5%のAUC向上を達成する。また、フレームレベルの視覚的特徴と歴史的観客動員データを統合することで、正確なコールドスタート予測が可能となる。

ABSTRACT

Audience discovery is an important activity at major movie studios. Deep models that use convolutional networks to extract frame-by-frame features of a movie trailer and represent it in a form that is suitable for prediction are now possible thanks to the availability of pre-built feature extractors trained on large image datasets. Using these pre-built feature extractors, we are able to process hundreds of publicly available movie trailers, extract frame-by-frame low level features (e.g., a face, an object, etc) and create video-level representations. We use the video-level representations to train a hybrid Collaborative Filtering model that combines video features with historical movie attendance records. The trained model not only makes accurate attendance and audience prediction for existing movies, but also successfully profiles new movies six to eight months prior to their release.

研究の動機と目的

• 公開前のコールドスタート段階において、新規劇場公開映画の観客需要と競合状況を予測する課題に対処すること。
• テキストによるあらすじに依存するのではなく、顔、物体、シーンなどの低レベルの視覚的特徴を活用するシステムの開発。
• 早期のデータ駆動型予測により、観客発見とマーケティング戦略の最適化を図ること。
• 従来のテキストベースのアプローチと比較して、動画ベースの表現が共同フィルタリングモデルに与える有効性を評価すること。

提案手法

• Inception や ResNet の変種などの事前学習済み畳み込みニューラルネットワークを用いて、映画予告編のフレーム単位の視覚的特徴を抽出する。
• フレーム間の平均プーリングを適用し、全予告編を表す1つの密な動画レベル埋め込みを生成する。
• これらの動画レベル埋め込みと、歴史的映画動員データおよび人口統計データを組み合わせたハイブリッド共同フィルタリングモデルを訓練する。
• 一般化性能の向上を図るため、特に行列内およびコールドスタート推薦の状況で有効なオフセットベクトル正則化技術を採用する。
• 大規模な実世界データセットを用いて、AUC を主評価指標として、テキストベースのベースライン（例：Merlin Text、CDL、RF）との性能を比較する。
• 公開後の実際の興行成績と観客の重複度を比較することで、公開前の予測された競合映画（comps）の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 映画予告編からの深層動画表現は、行列内およびコールドスタートの両状況において、テキストベースのモデルと比較して観客予測の正確性を向上させることができるか？
• RQ2 動画ベースの予測とテキストベースの予測では、類似映画（comps）の予測にどのような違いが生じるのか。また、これらの差異はマーケティング戦略にどのようなインサイトを提供するか？
• RQ3 平均プールによって失われる時間的情報の損失が、モデルの予測力に及ぼす制限はどの程度であり、その制限をどのように軽減できるか？
• RQ4 動画とテキストの特徴を統合することで、単独のモodal に比べてより強固で正確な観客予測モデルが構築可能か？

主な発見

• Merlin Video は、行列内状況でAUC 0.747、コールドスタート状況でAUC 0.708 を達成し、テキストベースのベースラインと比較して最大6.5%のAUC向上を示した。
• 動画ベースのモデルは、異なるモダリティで学習されているにもかかわらず、特にコールドスタート予測において、テキストベースの Merlin Text モデルと同等の性能を示した。
• 予告編の動画に基づく予測された競合映画（comps）は、あらすじテキストに基づく予測とは顕著に異なる。例えば、『Hidden Figures』の観客は動画ベースでは『The Greatest Showman』に参加すると予測されるが、テキストベースではそうならない。
• モデルは、公開から8か月も前から観客の重複度や競合関係を的確に特定でき、早期の戦略的計画を可能にした。
• 結果から、動画とテキストの表現は映画の異なる側面を捉えており、ハイブリッドモデリングの強力な可能性を示唆している。
• 平均プールによる時間的プールは、出来事の順序や映像的ストーリーテリングの手がかりを損なうため、将来的には時間的構造を保持するモデルの開発が求められる。