[論文レビュー] Detection of Audio-Video Synchronization Errors Via Event Detection

Joshua P. Ebenezer, Yongjun Wu+3 more|arXiv (Cornell University)|Apr 20, 2021

Video Analysis and Summarization参考文献 21被引用数 5

ひとこと要約

本論文は、テニス動画における音声・映像の同期ずれを検出するための2段階のディーブラーニング手法を提案する。ボールの衝突に伴う音声的・視覚的シグネチャを検出することで、50万4,300フレームのスケールの大きなデータセットを用い、微小なA/V同期ずれの検出において81.25%の精度と83.87%の再現率を達成。従来のエンドツーエンド手法を上回り、微細なオフセットに対しても優れた性能を示す。

ABSTRACT

We present a new method and a large-scale database to detect audio-video synchronization(A/V sync) errors in tennis videos. A deep network is trained to detect the visual signature of the tennis ball being hit by the racquet in the video stream. Another deep network is trained to detect the auditory signature of the same event in the audio stream. During evaluation, the audio stream is searched by the audio network for the audio event of the ball being hit. If the event is found in audio, the neighboring interval in video is searched for the corresponding visual signature. If the event is not found in the video stream but is found in the audio stream, A/V sync error is flagged. We developed a large-scaled database of 504,300 frames from 6 hours of videos of tennis events, simulated A/V sync errors, and found our method achieves high accuracy on the task.

研究の動機と目的

• 動画ストリームにおける微小な音声・映像同期ずれ（人間の知覚閾値未満のものも含む）を検出する課題に対処すること。
• 1秒未塔のオフセットで失敗し、解釈不能なエンドツーエンドモデルの限界を克服すること。
• 動画オンデマンドおよびライブストリーミングサービスにおける自動A/V同期ずれ検出のためのスケーラブルで解釈可能な手法を開発すること。
• テニスイベント（ボールのヒット、バウンス、非プレー状態）をフレーム単位でラベル付けした大規模かつフレーム正確なデータセットを作成すること。

提案手法

• 160msの音声セグメント（動画フレームの中心に位置）を用いて、テニスボールのヒットに伴う聴覚的シグネチャを特定するための深層音声イベント検出器（AED）を訓練する。
• 3フレームのグループ（80ms）を入力とし、フレームレベルのラベルに基づいて、ボールのヒットに伴う視覚的シグネチャを検出するための深層映像イベント検出器（VED）を訓練する。
• 推論段階では、AEDが音声ストリームを走査してヒットを検出。ヒットが検出された場合、その周辺の映像フレーム（最大80ms後、240ms前まで）をVEDが対応する視覚的イベントの有無を確認する。
• 音声ヒットの時間的近傍で視覚的イベントが検出されない場合、A/V同期ずれが検出される。
• イベント検出における時間的ずれに強い耐性を高めるために、時間的近傍探索戦略を採用する。
• 誤検出性能の評価のため、音声と映像のセグメントを±15フレーム（−3〜+6フレームを除く）ランダムにオフセットすることで、合成されたA/V同期ずれをシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 2段階のイベント検出アプローチは、エンドツーエンド手法よりも、微小なオフセットにおいてより高い精度でA/V同期ずれを検出できるか？
• RQ2 時間的近傍分析を用いた音声および映像イベント検出は、A/V同期ずれの特定にどの程度有効か？
• RQ3 大規模かつフレームラベル付きのテニス動画データセットは、A/V同期ずれの高精度検出を可能にするか？
• RQ4 音声および映像イベントが100ms未塔のずれを示しても、この手法はどの程度耐性を示すか？

主な発見

• 隣接する誤検出および誤検出を補正するVEDの近傍探索により、調整後の音声イベント検出器は90.2%の精度と72.76%の再現率を達成した。
• 早期停止を用いることで、映像イベント検出器は高い再現率を達成し、見逃しを最小限に抑え、誤った同期ずれのアラートを避ける上で重要である。
• 最終的なA/V同期ずれ検出システムは、合成された同期ずれに対して81.25%の精度と83.87%の再現率を達成し、微小なオフセットにおいて従来手法を上回った。
• 本手法は、通常人間には感知できない50ms未塔の同期ずれを効果的に検出でき、動画品質に悪影響を及ける要因を特定した。
• 6時間のテニス動画から構成される50万4,300フレームの大規模データセット（うち2,443件がヒットラベル付き）により、システムの訓練および評価が堅牢に行えるようになった。
• 音声イベントが複数のセグメントに跨る場合でも、VEDが隣接フレームを確認することで曖昧さを解消できるため、システムの性能はその影響に強く、安定している。