[論文レビュー] Shot Contrastive Self-Supervised Learning for Scene Boundary Detection

Shixing Chen, Xiaohan Nie+4 more|arXiv (Cornell University)|Apr 28, 2021

Video Analysis and Summarization参考文献 10被引用数 4

ひとこと要約

この論文では、長編映像における近接したショットを自然な拡張として活用することで、意味的に一貫性のあるショット表現を学習する自己教師付き対照的学習手法 ShotCoL を提案する。隣接するショット間の類似度を最大化し、ランダムに選択されたショットとの類似度を最小化することで、MovieNet においてラベル付きデータの 25% を使用して最先端のシーン境界検出を達成し、パラメータ数は 9 分の 1、推論速度は 7 倍速くなり、新たな大規模データセットにおける広告コールポイント検出への一般化性能も顕著に優れている。

ABSTRACT

Scenes play a crucial role in breaking the storyline of movies and TV episodes into semantically cohesive parts. However, given their complex temporal structure, finding scene boundaries can be a challenging task requiring large amounts of labeled training data. To address this challenge, we present a self-supervised shot contrastive learning approach (ShotCoL) to learn a shot representation that maximizes the similarity between nearby shots compared to randomly selected shots. We show how to apply our learned shot representation for the task of scene boundary detection to offer state-of-the-art performance on the MovieNet dataset while requiring only ~25% of the training labels, using 9x fewer model parameters and offering 7x faster runtime. To assess the effectiveness of ShotCoL on novel applications of scene boundary detection, we take on the problem of finding timestamps in movies and TV episodes where video-ads can be inserted while offering a minimally disruptive viewing experience. To this end, we collected a new dataset called AdCuepoints with 3,975 movies and TV episodes, 2.2 million shots and 19,119 minimally disruptive ad cue-point labels. We present a thorough empirical analysis on this dataset demonstrating the effectiveness of ShotCoL for ad cue-points detection.

研究の動機と目的

• 長編映像におけるシーン境界検出の課題に取り組む。これは、複雑な時間的構造のため、大規模なラベル付きデータを必要とし、実装が困難である。
• 映画制作における意味的・構造的整合性を捉える自己教師付き表現学習手法を開発する。その際、近接したショットが持つ自然な不変性を活用する。
• 人為的ラベルの高コストを低減するため、ラベルなしビデオデータから強力なショット表現を学習する。
• 新規の応用分野である、映画やテレビエピソードにおける最小限の干渉をもたらす広告コールポイントの同定という、学習済み表現の一般化能力を評価する。
• 3,975 本の動画、220 万ショット、19,119 個の手動ラベル付き広告コールポイントを含む、新たな大規模データセット AdCuepoints を導入し、ベンチマークを提供する。

提案手法

• ShotCoL は、同じストーリー・アーキテクチャに属するショット同士が意味的に類似しているという仮定に基づき、動画内の近接したショットを互いのポジティブな拡張とみなす。
• 本手法は、クエリショットと最も類似した隣接ショット（キーモデル）間の類似度を最大化し、ランダムに抽出されたショットとの類似度を最小化する対照的学習目的関数を用いる。
• モデルは、ショット表現における局所的な時間的整合性を促進するように、対照的損失関数を用いてエンドツーエンドで訓練される。
• 視覚的および音声的ショット表現は、MLP や B-LSTM、Linformer モデルを用いた時間的モデリングを含む、早期統合または後期統合戦略によって統合される。
• 本手法は、2 つのタスク（MovieNet を用いたシーン境界検出、新規の AdCuepoints データセットを用いた広告コールポイント検出）で評価される。
• 従来の教師ありモデルに比べ、顕著に少ないパラメータ数と高速な推論を実現するように設計されており、効率的かつスケーラブルである。

実験結果

リサーチクエスチョン

• RQ1 長編映像における近接したショットは、自己教師付き表現学習を向上させるために、自然なデータ拡張として効果的に利用可能か？
• RQ2 ショットの近接性に基づく対照的学習は、標準的な拡張スキームに比べ、シーンレベルの意味的構造をより効果的に捉えられるか？
• RQ3 学習済みショット表現は、ラベル付きデータを最小限に抑えた状況下でも、シーン境界検出や広告コールポイント検出といった下流タスクに一般化可能か？
• RQ4 精度、モデルサイズ、推論速度の観点から、ShotCoL の性能は教師ありおよび自己教師ありのベースラインと比較してどうなるか？
• RQ5 先行手法が要請するラベル付きデータの 25% のみを用いて、ShotCoL はシーン境界検出で最先端の結果を達成できるか？

主な発見

• ShotCoL は、先行手法が要請するラベル付き学習データの約 25% を使用して、MovieNet データセットにおけるシーン境界検出で最先端の性能を達成した。
• 従来の最先端の教師ありモデルと比較して、モデルパラメータ数を 9 分の 1 に削減し、推論時間を 7 倍速くしたが、精度は維持または向上させた。
• AdCuepoints データセットでは、同じデータで微調整した場合、ShotCoL ベースの特徴量が 53.98% AP を達成し、ImageNet や Kinetics で事前学習した特徴量を上回った。
• ラベルなし AdCuepoints データで学習し、MovieNet でテストした場合、ShotCoL は 48.40% AP を達成し、顕著なクロスデータセット一般化性能を示した。
• ShotCoL を用いて学習した音声特徴量は、PANN で事前学習した特徴量に比べ、異なるショットウィンドウサイズで最大 5.89% AP の向上を示した。
• ラベル付きデータをたった 1% のみで学習しても、完全な教師あり学習に比べて ShotCoL ベースの特徴量が優れた性能を示し、データ効率の高さを裏付けた。