[論文レビュー] MediaEval 2018: Predicting Media Memorability Task

Romain Cohendet, Claire-Hélène Demarty+5 more|arXiv (Cornell University)|Jul 3, 2018

Visual Attention and Saliency Detection参考文献 15被引用数 8

ひとこと要約

本論文は、記憶テストに基づいて収集された短期および長期記憶スコアを備えた10,000本の音声なし動画からなるデータセットを用いた、動画記憶性予測のための大規模ベンチマークであるMediaEval 2018記憶性予測タスクを紹介する。本研究では、短期記憶スコアを補正し、長期記憶スコアを補正しない標準化されたプロトコルを提案し、スピアマンの順位相関を用いた評価を可能にするとともに、コンテンツ推薦およびリtrieval応用のためのモデル開発を支援する事前計算済み特徴量を提供する。

ABSTRACT

In this paper, we present the Predicting Media Memorability task, which is proposed as part of the MediaEval 2018 Benchmarking Initiative for Multimedia Evaluation. Participants are expected to design systems that automatically predict memorability scores for videos, which reflect the probability of a video being remembered. In contrast to previous work in image memorability prediction, where memorability was measured a few minutes after memorization, the proposed dataset comes with short-term and long-term memorability annotations. All task characteristics are described, namely: the task's challenges and breakthrough, the released data set and ground truth, the required participant runs and the evaluation metrics.

研究の動機と目的

• 先行研究における統一されたプロトコルおよび大規模データセットの欠如に応じ、動画記憶性予測のための標準化されたベンチマークを確立すること。
• 記憶テストに基づくプロトコルを用いて、人間の動画長期記憶性能を測定および定量化すること。
• 10,000本の短い（7秒）音声なし動画と、短期および長期記憶性スコアを備えた公開データセットを提供し、モデルの学習および評価を可能にすること。
• 視覚的コンテンツおよび任意のメタデータから動画記憶性を予測する計算モデルの開発を可能にすること。
• 信頼性の高い客観的指標を提供することで、コンテンツ推薦、リtrieval、要約応用を支援すること。

提案手法

• データセットは、プロフェッショナルコンテンツから抽出された10,000本の短い（7秒）音声なし動画から構成され、開発用に8,000本、テスト用に2,000本に分割されている。
• 記憶性スコアは記憶テストを用いて収集された：参加者は24〜72時間後に繰り返し表示された動画を特定し、短期記憶スコアは変動する間隔（45〜100本の動画）後に収集された。
• 短期記憶の原単位スコアは、保持期間に基づいて線形補正され、間隔長の影響を補正するための正規化が行われた。一方、長期記憶スコアは保持期間に依存する傾向が認められなかったため、補正は行われなかった。
• 事前計算済み特徴量には、C3D空間時間的特徴量、HMP、HoG、LBP、InceptionV3のfc7特徴量、ORB、色ヒストограм、および美的特徴量が含まれる。
• 参加者は視覚的コンテンツ、提供された特徴量、任意のタイトル、外部データを用いてモデルを訓練した。短期および長期のサブタスクごとに別々の必須実行が求められた。
• 評価には、テストセット上で予測スコアと正解スコアの間のスピアマンの順位相関が用いられ、比較のための追加指標も併用された。

実験結果

リサーチクエスチョン

• RQ1 動画の繰り返し間隔が短期記憶性に与える影響は何か。また、この影響を補正することでスコアの正規化が向上するか。
• RQ2 長期記憶性スコアが保持期間とどの程度相関しているか。補正は必要か。
• RQ3 さまざまな視覚的およびディープラーニング特徴量は、短期および長期記憶期間において動画記憶性を予測するためにどの程度有効か。
• RQ4 短期記憶性予測で学習したモデルは長期記憶性に一般化可能か。逆に長期記憶性で学習したモデルは短期記憶性に一般化可能か。
• RQ5 C3D、InceptionV3、HMPなどの異なる特徴表現は、正確な記憶性予測にどのように寄与するか。

主な発見

• 短期記憶性スコアは保持期間に基づいて線形補正され、繰り返し間隔のばらつきを補正することで、100本の動画後に典型的な記憶性能と整合性が向上した。
• 長期記憶性スコアと保持期間との間に有意な関係は認められず、長期記憶スコアには補正を施さないことが正当化された。
• 平均して、各動画は38件の短期記憶および13件の長期記憶アノテーションを受け、正解推定の信頼性が確保された。
• 10,000本の動画は多様なシーンとオリジナルタイトルを備えており、マルチモーダルモデリングアプローチを支援する。
• 公式の評価指標はスピアマンの順位相関であり、絶対的スコアの正確性よりも順位付け性能の重視が強調されている。
• 参加者は最大10回の実行（サブタスクごとに5回）を提出可能であり、必須実行では相手サブタスクの正解スコアへのアクセスが制限されており、公正な評価を確保した。