[論文レビュー] Convolutional Collaborative Filter Network for Video Based Recommendation Systems

Cheng-Kang Hsieh, Miguel Del Campo+4 more|arXiv (Cornell University)|Oct 18, 2018

Recommender Systems and Techniques参考文献 7被引用数 4

ひとこと要約

本稿では、映画予告編内のオブジェクトの時系列的変化を1次元畳み込み層を用いてフレームレベル特徴量上でモデル化することで、動画ベース推薦のパフォーマンスを向上させる畳み込み協調フィルターネットワーク（CCFN）を提案する。ショットの持続時間や繰り返しといった動的な視覚的パターンを捉えることで、平均プーリングベースラインを上回り、ジャンルに跨る学習済みオブジェクト系列の活性化解析によりモデルの説明可能性も向上する。

ABSTRACT

This analysis explores the temporal sequencing of objects in a movie trailer. Temporal sequencing of objects in a movie trailer (e.g., a long shot of an object vs intermittent short shots) can convey information about the type of movie, plot of the movie, role of the main characters, and the filmmakers cinematographic choices. When combined with historical customer data, sequencing analysis can be used to improve predictions of customer behavior. E.g., a customer buys tickets to a new movie and maybe the customer has seen movies in the past that contained similar sequences. To explore object sequencing in movie trailers, we propose a video convolutional network to capture actions and scenes that are predictive of customers' preferences. The model learns the specific nature of sequences for different types of objects (e.g., cars vs faces), and the role of sequences in predicting customer future behavior. We show how such a temporal-aware model outperforms simple feature pooling methods proposed in our previous works and, importantly, demonstrate the additional model explain-ability allowed by such a model.

研究の動機と目的

• 静的フレーム特徴量を超えて、映画予告編内の時系列的ダイナミクスをモデル化することで、新規映画の推薦精度を向上させること。
• 動画表現における平均プーリングの限界を是正すること、すなわち、順序的および時系列的情報を失う問題を解決すること。
• 視覚的シーケンス（例：クローズアップ、高速カット）が予測に寄与するかどうかを特定することで、モデルの説明可能性を向上させること。
• 動画レベルの時系列パターンを協調フィルタリングと統合し、ユーザー行動の予測精度を向上させること。
• ハイブリッド推薦システムにおいて、フレームレベルのプーリングよりも、シーケンスに注意を払った動画表現がより予測に優れていることを実証すること。

提案手法

• モデルは、予告編内の各フレームに対して密度のある埋め込みを生成する事前学習済み画像特徴抽出器を用いる。
• これらのフレームレベル特徴量は時間軸に沿ってスタックされ、複数の1次元畳み込み層を通過することで、オブジェクトの存在や遷移における時系列的パターンを学習する。
• 畳み込み層は連続するフレームにわたってフィルタを適用し、繰り返し現れる視覚的シーケンス（例：高速カット、長時間のクローズアップ）を検出する。これらはジャンルやナラティブスタイルを示すサインである。
• 特に1フレームフィルタを用いる場合に、勾配の流れと特徴量学習を改善するため、最初の畳み込み層に残差接続を適用する。
• 最終的な特徴マップはグローバル平均プーリングされ、協調フィルタリング層に供給され、履歴行動に基づくユーザーの好みを予測する。
• モデルは、動画表現学習と協調フィルタリングの損失を組み合わせて、エンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 映画予告編内のオブジェクトの時系列的変化をモデル化することで、動画ベース推薦システムの精度が向上するか？
• RQ2 異なる畳み込みフィルターサイズおよびネットワークアーキテクチャは、推薦タスクにおけるシーケンスに注意を払った動画表現のパフォーマンスにどのように影響するか？
• RQ3 学習済み畳み込みフィルタが、ユーザーの好みを予測する視覚的パターンに関する解釈可能なインサイトをどの程度提供できるか？
• RQ4 平均プーリングによるフレーム特徴量の処理と比較して、提案手法は予測力と説明可能性の両面で優れているか？
• RQ5 どの種類の視覚的シーケンス（例：ショットの持続時間、繰り返し）が、異なるジャンルにおいてユーザー行動を最もよく予測するか？

主な発見

• 十分に大きな受容 field（フィルターサイズ > 4 フレーム）がモデル性能に不可欠であり、8フレームを超えると性能が飽和することが判明した。
• 残差接続は性能を顕著に向上させ、特に1フレームフィルタを用いる場合に顕著で、これはフレーム間相関の学習を強化していると考えられる。
• モデルはジャンル固有の視覚的テンプレートを効果的に学習している：例えば、チャネル4はホラー映画に特徴的なゆっくりとした緊張感のあるクローズアップに反応し、チャネル8はアクションやスーパーヒーロー映画に一般的な高エネルギーなアクションに反応する。
• フレームレベルのプーリングとは異なり、動的なシーケンスレベルの特徴量を捉えることで、モデルは新規推薦のシナリオにおいて、平均プーリングベースラインを上回る性能を発揮した。
• 活性化マップから、アクション、アニメーション、ロマンス、ホラー、モンスター、戦争など多様なジャンルに跨る意味のあるオブジェクトシーケンスをモデルが学習していることが明らかになった。
• フィルタの活性化によって得られる説明可能性により、ユーザーの好みを最もよく予測する視覚的パターン（例：ショット頻度、オブジェクトの焦点）を解釈できるようになった。