[論文レビュー] Using Mise-En-Scène Visual Features based on MPEG-7 and Deep Learning for Movie Recommendation

Yashar Deldjoo, Massimo Quadrana+2 more|arXiv (Cornell University)|Apr 20, 2017

Video Analysis and Summarization参考文献 32被引用数 11

ひとこと要約

本稿では、映画予告編から自動抽出されたMise-en-Scène視覚的特徴（特にMPEG-7記述子と深層学習ベースの特徴）を用いて、映画推薦のパフォーマンスを向上させることを提案する。実験の結果、これらの低レベル視覚的特徴が、ジャンルやタグといった従来の人的に生成された属性よりも、トップ-N推薦タスクで優れた性能を示し、両者の特徴タイプを融合させることで最良の結果が得られることを示している。

ABSTRACT

Item features play an important role in movie recommender systems, where recommendations can be generated by using explicit or implicit preferences of users on traditional features (attributes) such as tag, genre, and cast. Typically, movie features are human-generated, either editorially (e.g., genre and cast) or by leveraging the wisdom of the crowd (e.g., tag), and as such, they are prone to noise and are expensive to collect. Moreover, these features are often rare or absent for new items, making it difficult or even impossible to provide good quality recommendations. In this paper, we show that user's preferences on movies can be better described in terms of the mise-en-scène features, i.e., the visual aspects of a movie that characterize design, aesthetics and style (e.g., colors, textures). We use both MPEG-7 visual descriptors and Deep Learning hidden layers as example of mise-en-scène features that can visually describe movies. Interestingly, mise-en-scène features can be computed automatically from video files or even from trailers, offering more flexibility in handling new items, avoiding the need for costly and error-prone human-based tagging, and providing good scalability. We have conducted a set of experiments on a large catalogue of 4K movies. Results show that recommendations based on mise-en-scène features consistently provide the best performance with respect to richer sets of more traditional features, such as genre and tag.

研究の動機と目的

• 高価な人的生成属性に代わって、自動抽出された視覚的特徴を活用することで、映画推薦における新規アイテム問題に対処すること。
• 低レベルの視覚的スタイル特徴（Mise-en-Scène）が、ジャンル、タグ、俳優といった従来の高レベル特徴よりも推薦パフォーマンスで優れているかどうかを調査すること。
• フル長編映画の分析に代えて、映画予告編から抽出した視覚的特徴の有効性を評価し、スケーラブルな代替手法としての可能性を検証すること。
• MPEG-7記述子と深層学習特徴を組み合わせることで、推薦品質が向上する可能性を探索すること。
• 視覚的スタイルがユーザーの好みに与える影響を評価し、コンテンツや意味的特徴よりもスタイルの影響が強い可能性を示唆すること。

提案手法

• MPEG-7規格を用いて、映画のフレームから色、テクスチャ、エッジ情報などのMise-en-Scène視覚的特徴を抽出する。
• 事前学習済みの深層学習モデル（例：VGGまたは類似モデル）を用いて、動画フレームや予告編から高レベルの視覚的表現を抽出する。
• 計算負荷を軽減するために、フル長編映画ではなく予告編から特徴ベクトルを計算する。同時に、フル映画の特徴と相関関係を維持する。
• 抽出した視覚的特徴を入力として、協調フィルタリングおよびコンテンツベースフィルタリングモデルを訓練・評価する。
• MPEG-7特徴と深層学習特徴を、早期統合または後期統合戦略を用いて融合し、推薦パフォーマンスを向上させる。
• 大規模な4K映画データセットを用いて、精度、再現率、NDCGなどの標準指標で推薦品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 映画予告編から抽出したMise-en-Scène視覚的特徴は、ジャンルやタグといった従来の人的生成特徴よりも、より優れた映画推薦を提供できるか？
• RQ2 MPEG-7視覚的記述子に基づく推薦と、深層学習特徴に基づく推薦の間で、トップ-N順位付けの品質に差があるか？
• RQ3 MPEG-7特徴と深層学習特徴を融合させることで、単独で使用する場合よりも優れた推薦パフォーマンスが得られるか？
• RQ4 映画予告編から抽出した視覚的特徴は、フル映画のスタイル的特徴をどれくらい正確に反映しているか？
• RQ5 ユーザーの映画好みが、意味的または文法的コンテンツ特徴よりも視覚的スタイルに強く影響を受ける証拠はあるか？

主な発見

• MPEG-7ベースの視覚的特徴は、トップ-N推薦パフォーマンスにおいて、ジャンルやタグの両方を一貫して上回り、高い精度とNDCGスコアを達成した。
• 深層学習ベースの視覚的特徴は、ジャンルやタグといった人的に生成された属性と同等の推薦品質を提供したが、それらを上回ることはできなかった。
• MPEG-7特徴と深層学習特徴の融合により、全体として最も優れた推薦パフォーマンスが得られ、両アプローチの相補的な強みが裏付けられた。
• 映画予告編から抽出した視覚的特徴は、フル長編映画の特徴と強く相関しており、予告編を特徴抽出のスケーラブルな代替手段として使用することが妥当であると検証された。
• 結果から、ユーザーの好みは、ジャンルやプロットといったものよりも、視覚的スタイル（Mise-en-Scène）に強く影響を受ける可能性が示唆され、従来のジャンルや物語中心の仮定に疑問を呈するものとなった。
• MPEG-7特徴の低次元性（774要素）に加え、予告編からの自動抽出が可能であるため、新規アイテム推薦に対してスケーラブルでコスト効率が良く、かつ頑健なソリューションが得られる。