[論文レビュー] Content-based Video Relevance Prediction Challenge: Data, Protocol, and Baseline

Mengyi Liu, Xiaohui Xie+1 more|arXiv (Cornell University)|Jun 3, 2018

Recommender Systems and Techniques参考文献 1被引用数 8

ひとこと要約

本論文は、ACM Multimedia 2018 におけるコンテンツベース動画関連性予測（CBVRP）チャレンジを紹介し、視聴者行動の暗黙的フィードバックから得られた真の関連性順位を有する、テレビ番組および映画のトレーラーから構成される大規模データセットを提供する。本論文では、視覚的・聴覚的・メタデータの動画特徴を用いたコンテンツベース関連性予測の評価プロトコルを提案し、ベースライン結果として、トリプルットネットワーク学習が、特にInceptionおよびC3D特徴のラテントフェージュにおいて、非教師ありコサイン類似度に比べて性能が向上することを示している。

ABSTRACT

Video relevance prediction is one of the most important tasks for online streaming service. Given the relevance of videos and viewer feedbacks, the system can provide personalized recommendations, which will help the user discover more content of interest. In most online service, the computation of video relevance table is based on users' implicit feedback, e.g. watch and search history. However, this kind of method performs poorly for "cold-start" problems - when a new video is added to the library, the recommendation system needs to bootstrap the video relevance score with very little user behavior known. One promising approach to solve it is analyzing video content itself, i.e. predicting video relevance by video frame, audio, subtitle and metadata. In this paper, we describe a challenge on Content-based Video Relevance Prediction (CBVRP) that is hosted by Hulu in the ACM Multimedia Conference 2018. In this challenge, Hulu drives the study on an open problem of exploiting content characteristics directly from original video for video relevance prediction. We provide massive video assets and ground truth relevance derived from our really system, to build up a common platform for algorithm development and performance evaluation.

研究の動機と目的

• ユーザーのフィードバックが疎である状況を考慮し、動画の内容から直接関連性を予測することで、動画推薦システムにおけるコールドスタート問題を解決すること。
• 実世界のストリーミングデータを用いた、コンテンツベース関連性予測の標準化されたベンチマークを確立すること。
• 多様な動画コンテンツタイプにわたるアルゴリズムの公平な比較を可能にするために、公開データセットと評価プロトコルを提供すること。
• マルチモーダル特徴（視覚的・聴覚的・テキスト的）とメトリック学習を焦点にした動画表現学習分野の研究を促進すること。

提案手法

• 著作権および法的制約を考慮し、本チャレンジでは完全な映像ではなくトレーラーを用いる。事前にInceptionおよびC3Dネットワークから特徴量を抽出している。
• 真の関連性リストは、匿名化されたユーザーの暗黙的フィードバック（視聴履歴や検索履歴など）から得られ、個人情報の保護を考慮してクリーニングされている。
• 真の関連性リストからアンカーポジティブネガティブのトリプレットを抽出し、関連性の高い動画が近くなるようにメトリック空間を学習するため、トリプルットネットワークを訓練する。
• ベースラインモデルには、特徴埋め込み間の非教師ありコサイン類似度と、埋め込み次元d=256の教師ありトリプルット損失最適化が含まれる。
• ラテントフェージュでは、複数の特徴タイプ（例：Inception-pool3 および C3D-pool5）の類似度行列を平均化することで予測を統合し、耐障害性を向上させる。
• 評価には、k=5, 10, 20, 30, 50, 100, 200, 300におけるhit@kおよびrecall@kを用い、検証セットおよびテストセットでの結果を報告する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーのフィードバックに依存せず、視覚的・聴覚的・テキスト的動画特徴を用いて、テレビ番組と映画の間の関連性をどれほど正確に予測できるか？
• RQ2 トリプルットネットワークによるメトリック学習は、単純なコサイン類似度に比べて、コンテンツベース動画関連性予測でどの程度の性能向上をもたらすか？
• RQ3 マルチモーダル特徴（例：InceptionおよびC3D）のラテントフェージュは、関連性予測の正確性を向上させるのにどの程度有効か？
• RQ4 異なる動画タイプ（テレビ番組対映画）およびジャンル分布は、関連性予測モデルの一般化性能にどの程度影響を及えるか？
• RQ5 コンテンツベース特徴のみを用いて、統一されたフレームワークをコールドスタート動画関連性予測に確立できるか？

主な発見

• Inception-pool3およびC3D-pool5特徴のラテントフェージュを組み合わせたトリプルットネットワークが最高の性能を示し、テレビ番組の検証セットではhit@5が0.272、映画の検証セットでは0.190を記録した。
• テストセットでは、ラテントフェージュにより、映画とテレビ番組の両方でhit@5が0.249に向上し、個々の特徴タイプや非教師ありコサイン類似度を上回った。
• トリプルットネットワークは、非教師ありコサイン類似度に比べて一貫して性能を向上させ、特にk値が大きい場合（例：k=100およびk=200）に顕著で、長尾関連性への一般化性能が向上していることが示された。
• C3D-pool5特徴は、テレビ番組および映画の両方でInception-pool3に比べて優れた性能を示し、特にrecall@k指標において顕著だった。これは、より優れた時間的モデリングが可能であることを示唆している。
• 完全な動画ではなくトレーラーを用いたことによるモデル性能の低下は顕著ではなく、大規模なベンチマーク手法としての有効性が裏付けられた。
• ベースライン結果から、非教師あり手法（例：コサイン類似度）ですら非自明な性能（例：テレビ番組のhit@5 ≈ 0.23）を達成しており、動画コンテンツに内在する構造的特徴が存在することが示された。