[論文レビュー] Overview of The MediaEval 2022 Predicting Video Memorability Task

Lorin Sweeney, Mihai Gabriel Constantin+9 more|arXiv (Cornell University)|Dec 13, 2022

Visual Attention and Saliency Detection被引用数 5

ひとこと要約

本論文は、Memento10kおよびVideoMemデータセットを用いた短時間記憶力予測に焦点を当てた、MediaEval予測動画記憶力タスクの第5版を紹介する。新たに導入されたEEGベースのサブタスクでは、被験者固有の認識予測が行われる。本タスクは正規化された短時間記憶力スコアに注力し、スピアマン順位相関およびAUC指標を用いてシステムを評価することで、メディアキュレイションおよび記憶の認知モデリング分野の研究を前進させる。

ABSTRACT

This paper describes the 5th edition of the Predicting Video Memorability Task as part of MediaEval2022. This year we have reorganised and simplified the task in order to lubricate a greater depth of inquiry. Similar to last year, two datasets are provided in order to facilitate generalisation, however, this year we have replaced the TRECVid2019 Video-to-Text dataset with the VideoMem dataset in order to remedy underlying data quality issues, and to prioritise short-term memorability prediction by elevating the Memento10k dataset as the primary dataset. Additionally, a fully fledged electroencephalography (EEG)-based prediction sub-task is introduced. In this paper, we outline the core facets of the task and its constituent sub-tasks; describing the datasets, evaluation metrics, and requirements for participant submissions.

研究の動機と目的

• 人間の認知的重要性の代理としての短時間記憶力予測を進めるため。
• TRECVid2019をVideoMemに置き換え、Memento10kを主要データセットとして昇格させることで、データセット間での一般化を向上させるため。
• 神経生理学的信号を用いた個別被験者に対する動画認識予測を可能にする、画期的なEEGベースのサブタスクを導入するため。
• 長期間および原始スコアを排除し、正規化された短時間記憶力スコアに注力することで、評価の標準化を図るため。
• 視覚的、言語的、およびEEG特徴を統合したマルチモーダルシステムの開発を支援し、記憶力予測の精度を向上させるため。

提案手法

• 参加者は、Memento記憶ゲームを通じたクラウドソーシングによる認識タスクから導出された短時間記憶力スコアを有する、10,000本の3秒間の静止動画からなるMemento10kデータセットを用いる。
• Memento10kとは別に、ドメイン間での一般化を評価するための補助データセットとして、10,000本の7秒間の静止動画からなるVideoMemデータセットを用いる。
• EEGベースのサブタスクでは、Memento10k動画を視聴した12名の被験者から事前に抽出されたEEG特徴を用い、その後の認識フィードバック（2値）に基づいて認識予測が行われる。
• 視覚的、言語的、および/またはEEG特徴を用いて記憶力スコアを予測するシステムを訓練し、スピアマン相関、ピアソン相関、平均二乗誤差を用いて評価する。
• サブタスク3では、EEG特徴を統合して、被験者が動画を認識するかどうかを予測する必要があり、AUCを用いて評価される。
• すべてのシステムは、各データセットに対して1,500本のホールドアウトテストセットで評価され、サブタスクあたり最大5件の提出が許可される。

実験結果

リサーチクエスチョン

• RQ1 Memento10kデータセットにおいて、視覚的および言語的特徴を用いた短時間記憶力予測の性能はどの程度達成可能か？
• RQ2 Memento10kからVideoMemへ、あるいはその逆に、短時間記憶力予測においてモデルの一般化性能はどの程度達成できるか？
• RQ3 視覚的および言語的特徴に加えて、EEG由来の特徴が個別被験者の動画認識予測を向上させられるか？
• RQ4 視覚的、言語的、EEGのマルチモーダル特徴の相対的寄与度は、記憶力予測の精度にどの程度寄与するか？
• RQ5 正規化された短時間記憶力スコアは、原始的または長期スコアと比較して、モデルの性能および一貫性において優れているか？

主な発見

• 1本あたり平均90件のアノテーションを持つ継続的認識ゲームから導出されたMemento10kデータセットは、高いアノテーター間一貫性を示し、信頼性の高い短時間記憶力スコアを提供する。
• サイズは同程度であるが、データ品質の問題から前回のTRECVid2019データセットから置き換えられたVideoMemデータセットは、一般化評価の補助ベンチマークとして使用されている。
• EEGMemデータセットは、12名の被験者から抽出された特徴を提供し、認識フィードバックの2値の真値に基づいて、被験者固有の認識予測が可能になる。
• 予測された記憶力スコアと実際のスコアの間の単調な関係を的確に比較できるようにするため、主評価指標としてスピアマン順位相関が採用された。
• EEGベースのサブタスクにより、個別被験者の認識予測における神経認知的信号の評価が可能となり、メディア分野における脳-コンピュータインターフェースの応用の新しい道筋が示された。
• タスク設計により、サブタスクあたり最大5件の提出が可能となり、複数の構成におけるモデルの反復的改善と比較が可能になった。