[論文レビュー] Self-supervised Video Retrieval Transformer Network

Xiangteng He, Yulin Pan+2 more|arXiv (Cornell University)|Apr 16, 2021

Advanced Image and Video Retrieval Techniques参考文献 32被引用数 4

ひとこと要約

本論文では、自己教師あり学習に基づく動画検索フレームワークであるSVRTNを提案する。この手法は、変換器ベースのセットエンコーダーを用いてクリップレベルの動画表現を学習することで、高価な手動アノテーションを回避し、ストレージコストと検索コストを削減する。FIVR-200KおよびSVDのベンチマークで最先端の性能を達成し、動画レベルの手法に比べてmAPを最大30.6%向上させるとともに、特徴量のストレージを78.7%削減し、フレームレベルの手法に比べて検索速度を25倍に向上させた。

ABSTRACT

Content-based video retrieval aims to find videos from a large video database that are similar to or even near-duplicate of a given query video. Video representation and similarity search algorithms are crucial to any video retrieval system. To derive effective video representation, most video retrieval systems require a large amount of manually annotated data for training, making it costly inefficient. In addition, most retrieval systems are based on frame-level features for video similarity searching, making it expensive both storage wise and search wise. We propose a novel video retrieval system, termed SVRTN, that effectively addresses the above shortcomings. It first applies self-supervised training to effectively learn video representation from unlabeled data to avoid the expensive cost of manual annotation. Then, it exploits transformer structure to aggregate frame-level features into clip-level to reduce both storage space and search complexity. It can learn the complementary and discriminative information from the interactions among clip frames, as well as acquire the frame permutation and missing invariant ability to support more flexible retrieval manners. Comprehensive experiments on two challenging video retrieval datasets, namely FIVR-200K and SVD, verify the effectiveness of our proposed SVRTN method, which achieves the best performance of video retrieval on accuracy and efficiency.

研究の動機と目的

• 動画検索における高価な手動アノテーションへの依存を減らすために、ラベルなし動画を用いた自己教師あり学習を活用すること。
• フレームレベルの特徴量をコンパクトなクリップレベルの表現に集約することで、ストレージコストと計算コストを最小限に抑えること。
• セット変換器におけるマスクドフレームモデリングにより、フレームの順序変更や欠損に対しても不変となるようにすることで、検索のロバスト性と柔軟性を向上させること。
• クリップ対クリップおよびフレーム対クリップ検索を含む、多様な検索モードをサポートすることで、応用の汎用性を高めること。

提案手法

• 時間的・空間的・光沢的変換を用いて、元の動画とその増幅版から正例ペアを生成することで、自己教師ありの動画表現学習を実施する。
• マルチヘッド自己注意機構を用いてフレーム間の依存関係をモデル化し、フレームレベルの特徴量を1つのクリップレベル表現に集約するクリップレベルのセット変換器ネットワークを構築する。
• クリップレベルの符号化にマスクドフレームモデリングを統合することで、フレームの順序変更や欠損に対しても不変となるようにし、ロバスト性を向上させる。
• 大規模な検索における効率的な類似度検索を実現するため、動画表現をハッシングによってバイナリ化する。
• 自己生成された正例ペア上で対照学習を用いてエンドツーエンドでモデルを訓練し、特徴量の識別能を最大化する。
• クリップと個々のフレームの両方をエンコードすることで、さまざまなクエリタイプに対応可能な柔軟な検索を実現する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習は、動画表現学習のための手動アノテーションを効果的に置き換えることができるか？
• RQ2 クリップレベルの表現学習は、検索精度を損なわずにストレージコストと検索複雑性を顕著に削減できるか？
• RQ3 マスクドフレームモデリングを組み込んだセット変換器を用いることで、フレーム順序や欠損に対し、検索のロバスト性が向上するか？
• RQ4 提案手法は、フレーム対クリップやクリップ対クリップ検索といった柔軟な検索モードをサポートできるか？

主な発見

• FIVR-200KのDSVRタスクにおいて、SVRTNは動画レベルの手法に比べてmAPを30.6%向上させた。
• FIVR-200KのCSVRおよびISVRタスクにおいて、SVRTNはそれぞれ28.2%および21.3%のmAP向上を達成し、動画レベルのベースラインを上回った。
• SVDデータセットでは、既存の手法に比べて4.7%のmAP向上を達成した。
• フレームレベルの検索手法に比べ、特徴量のストレージコストを約78.7%削減した。
• クリップレベルの表現により、フレームレベルのアプローチに比べて検索速度が約25倍に向上した。
• 本手法は、フレーム欠損や順序変更に対しても強く、さまざまなクリップ長（4秒、6秒、8秒）において性能が安定している。