[論文レビュー] TransVCL: Attention-enhanced Video Copy Localization Network with Flexible Supervision

Sifeng He, Yue He+7 more|arXiv (Cornell University)|Nov 23, 2022

Fetal and Pediatric Neurological Disorders被引用数 5

ひとこと要約

TransVCL は、自己注意およびクロス注意メカニズムを備えたカスタム化されたトランスフォーマーを用いて、特徴強化、類似度行列生成、時系列アライメントを統合的に最適化するエンドツーエンドで注意を強化した動画コピーローカライゼーションネットワークを提案する。この手法は、セグメントレベルの動画コピーローカライゼーションベンチマークで最先端の性能を達成し、限定的または動画レベルのアノテーションを用いた半教師ありおよび弱教師あり設定においても優れた汎化性能を示す。

ABSTRACT

Video copy localization aims to precisely localize all the copied segments within a pair of untrimmed videos in video retrieval applications. Previous methods typically start from frame-to-frame similarity matrix generated by cosine similarity between frame-level features of the input video pair, and then detect and refine the boundaries of copied segments on similarity matrix under temporal constraints. In this paper, we propose TransVCL: an attention-enhanced video copy localization network, which is optimized directly from initial frame-level features and trained end-to-end with three main components: a customized Transformer for feature enhancement, a correlation and softmax layer for similarity matrix generation, and a temporal alignment module for copied segments localization. In contrast to previous methods demanding the handcrafted similarity matrix, TransVCL incorporates long-range temporal information between feature sequence pair using self- and cross- attention layers. With the joint design and optimization of three components, the similarity matrix can be learned to present more discriminative copied patterns, leading to significant improvements over previous methods on segment-level labeled datasets (VCSL and VCDB). Besides the state-of-the-art performance in fully supervised setting, the attention architecture facilitates TransVCL to further exploit unlabeled or simply video-level labeled data. Additional experiments of supplementing video-level labeled datasets including SVD and FIVR reveal the high flexibility of TransVCL from full supervision to semi-supervision (with or without video-level annotation). Code is publicly available at https://github.com/transvcl/TransVCL.

研究の動機と目的

• 手作業で作成された類似度行列の限界を解消する。これは、長距離の時系列依存関係をモデル化できず、局所的最適化に依存するためである。
• フレームレベルの特徴を独立して処理することに依存する問題を克服する。これには、自己注意およびクロス注意を統合して、動画内および動画間の時系列的関係をモデル化する。
• ラベルなしデータや弱教師ありデータからの有効な学習を可能にするために、学習可能なグローバルトークンと補助的な動画レベル分類損失を組み込む。
• 特徴強化、類似度学習、時系列アライメントのエンドツーエンド最適化を実現し、ローカライゼーション精度を向上させる。
• 最小限のアノテーションコストで、完全教師あり、半教師あり、弱教師ありの学習設定においても、強靭で柔軟な性能を示す。

提案手法

• クエリ動画とリファレンス動画のシーケンス内でおよび両者間の長距離依存関係をモデル化することで、フレームレベル特徴を強化するカスタムトランスフォーマーインピーダンスを導入する。
• 手作業で作成されたコサイン類似度の代わりに、微分可能関数である相関層とソフトマックス層を用いて、強化された特徴から学習可能な、判別性の高い類似度行列を生成する。
• 時間的制約のもとで、学習された類似度行列内の高類似度パターンを特定することで、コピーされたセグメントの境界を検出する時系列アライメントモジュールを統合する。
• 特徴シーケンスに学習可能なクラストークンを追加し、グローバルな動画レベル表現を集約することで、動画レベル二値分類のための補助損失を可能にする。
• インスタンスレベル（セグメントローカライゼーション）と動画レベル（二値分類）の教師あり学習を統合したマルチタスク損失を用いて、ネットワーク全体をエンドツーエンドで訓練する。
• ラベル付きデータ、ラベルなしデータ、弱教師ありデータ（動画レベルアノテーション）を同時に最適化できる柔軟な教師あり学習を実現する。これには重み付き非教師あり損失成分を用いる。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの注意に基づくアーキテクチャは、手作業で作成された類似度行列に依存する従来のパイプラインを上回ることができるか？
• RQ2 自己注意およびクロス注意メカニズムは、動画コピーディテクションにおける長距離時系列依存関係のモデル化をどの程度向上させることができるか？
• RQ3 限定的またはセグメントレベルのアノテーションが不足する半教師ありおよび弱教師あり設定において、提案手法はどの程度有効であるか？
• RQ4 学習可能なトークンによるグローバルな動画レベル表現の統合は、動画コピーローカライゼーションにおける性能と汎化能力を向上させるか？
• RQ5 少量のラベル付きデータで学習し、大規模なラベルなしまたは弱教師ありデータで補完した場合、モデルは強力な性能を維持できるか？

主な発見

• TransVCL は、完全教師ありの VCSL および VCDB データセットで最先端の性能を達成し、100% VCSL で F スコア 66.51% を記録し、先行手法を上回った。
• 1% VCSL の半教師あり設定では、TransVCL はラベル付きデータが1%で、非ラベル付きデータが99倍多い状況で、F スコアを23.10%（教師ありベースライン）から37.28%まで向上させた。
• FIVR および SVD データセットからの動画レベルの弱教師ありアノテーションを用いた場合、100% VCSL データで学習した際、F スコアは67.13%に達し、教師ありベースラインより+0.62の向上を示した。
• 弱教師ありデータを用いることで、顕著な性能向上が得られた。特に、10% VCSL の1.8倍の規模でさえも、9倍の非ラベル付きデータセットを上回るFスコアの向上を達成した。
• 本手法は、多様なデータスケールと教師ありレベルにおいても強力な性能を維持し、実世界の応用において高い柔軟性とスケーラビリティを示した。
• 可視化結果から、注意メカニズムがリファレンス動画内の関連するコピーされた瞬間を適切に強調し、不要な遷移を抑制していることが示され、効果的な特徴学習が行われていることが裏付けられた。