[論文レビュー] Efficient Video Summarization Framework using EEG and Eye-tracking Signals

Sai Sukruth Bezugam, Swatilekha Majumdar+2 more|arXiv (Cornell University)|Jan 27, 2021

Video Analysis and Summarization参考文献 42被引用数 6

ひとこと要約

本論文は、EEGおよび眼動追跡信号を活用して知覚的に顕著なフレームを特定する人間中心の動画要約フレームワークを提案する。96.5%の動画圧縮を達成し、精度0.98、再現率0.97を達成しており、最先端の手法を上回る性能を発揮するとともに、生物学的根拠に基づく説明可能な特徴抽出により計算コストを低減する。

ABSTRACT

This paper proposes an efficient video summarization framework that will give a gist of the entire video in a few key-frames or video skims. Existing video summarization frameworks are based on algorithms that utilize computer vision low-level feature extraction or high-level domain level extraction. However, being the ultimate user of the summarized video, humans remain the most neglected aspect. Therefore, the proposed paper considers human's role in summarization and introduces human visual attention-based summarization techniques. To understand human attention behavior, we have designed and performed experiments with human participants using electroencephalogram (EEG) and eye-tracking technology. The EEG and eye-tracking data obtained from the experimentation are processed simultaneously and used to segment frames containing useful information from a considerable video volume. Thus, the frame segmentation primarily relies on the cognitive judgments of human beings. Using our approach, a video is summarized by 96.5% while maintaining higher precision and high recall factors. The comparison with the state-of-the-art techniques demonstrates that the proposed approach yields ceiling-level performance with reduced computational cost in summarising the videos.

研究の動機と目的

• 既存の動画要約手法が人間の知覚的・注意的行動をコアな入力として無視するというギャップに対処すること。
• 人間の認知的信号に基づき、計算効率的で説明可能な動画要約フレームワークを開発すること。
• EEGと眼動追跡データを統合することで、動画の本質を表すキーフレームを特定する有効性を評価すること。
• 圧縮率、精度、再現率の観点から、提案手法を最先端技術と比較してベンチマークすること。
• 神経生理的および行動的信号を統合することで、人間と機械が協働する動画要約の基盤を構築すること。

提案手法

• 被験者を対象に、EEGおよび眼動追跡装置を用いて、動画視聴中の神経的および視覚的注意反応を捉える制御された実験を実施。
• EEGおよび眼動追跡信号を並列処理し、認知的および視覚的注意イベントを検出し、知覚的に顕著なフレームを特定。
• 統合された注意信号を用いて、人間の関連性判断に基づき、長時間の動画シーケンスからキーフレームをセグメントおよび抽出。
• 強いEEGおよび眼動追跡反応を示すセグメントを優先するフレーム選択メカニズムを適用し、情報量の多い部分を強調。
• 深層学習アーキテクチャを避けることで、最小限の計算オーバーヘッドで高圧縮を実現する要約パイプラインを最適化。
• 正解ラベルを用いて手法を検証し、従来の手法および深層学習ベースの要約ベースラインと性能を比較。

実験結果

リサーチクエスチョン

• RQ1 EEGおよび眼動追跡信号は、要約用に知覚的に関連性のある動画フレームを特定するためにどの程度効果的に機能するか？
• RQ2 EEGと眼動追跡信号を統合することで、単独で使用する場合と比較してどの程度性能が向上するか？
• RQ3 深層学習を用いない人間を含むフレームワークは、計算コストを低減しつつ、最先端の手法と同等の性能を達成できるか？
• RQ4 提案手法は、高圧縮を達成しながらも、高い精度と再現率をどの程度維持できるか？
• RQ5 人間の知覚的信号の統合は、動画要約システムの説明可能性および解釈可能性をどの程度向上させるか？

主な発見

• 提案フレームワークは96.5%の動画圧縮率を達成しており、元の動画長の3.5%が要約として保持される。
• 精度は約0.98であり、抽出されたキーフレームの98%が動画コンテンツに関連していることを示している。
• 再現率は約0.97であり、システムが動画内に存在する真正の関連フレームの97%を正常に回収できていることを示している。
• EEGと眼動追跡信号の統合により、98.15%の検出率が達成され、EEG単体（68.7%）および眼動追跡単体（15.27%）のアプローチを著しく上回った。
• Fスコアは提案手法で最高となり、従来のフレームワークと比較してキーフレーム抽出の全体的な正確性が優れていることを確認した。
• 提案フレームワークは、パrameter数がはるかに少なく、解釈可能性に優れる一方で、深層学習ベースの手法を精度および再現率の両面で上回った。