[論文レビュー] VRAG: Region Attention Graphs for Content-Based Video Retrieval

Kennard Ng, Ser-Nam Lim+1 more|arXiv (Cornell University)|May 18, 2022

Video Analysis and Summarization被引用数 6

ひとこと要約

本論文は、ビデオの領域レベル特徴とグラフベースのアテンション機構を用いて時空間的関係を捉えるビデオレベルのリtrievalフレームワーク、VRAGを提案する。自己アテンションとグラフ畳み込みを用いた領域レベル表現により、VRAGはビデオリtrievalベンチマークで最先端の性能を達成するとともに、ビデオレベルとフレームレベル手法の間のギャップを縮小し、ショットレベルのバリエーションはフレームレベルのベースラインよりも高速かつ高い精度を実現する。

ABSTRACT

Content-based Video Retrieval (CBVR) is used on media-sharing platforms for applications such as video recommendation and filtering. To manage databases that scale to billions of videos, video-level approaches that use fixed-size embeddings are preferred due to their efficiency. In this paper, we introduce Video Region Attention Graph Networks (VRAG) that improves the state-of-the-art of video-level methods. We represent videos at a finer granularity via region-level features and encode video spatio-temporal dynamics through region-level relations. Our VRAG captures the relationships between regions based on their semantic content via self-attention and the permutation invariant aggregation of Graph Convolution. In addition, we show that the performance gap between video-level and frame-level methods can be reduced by segmenting videos into shots and using shot embeddings for video retrieval. We evaluate our VRAG over several video retrieval tasks and achieve a new state-of-the-art for video-level retrieval. Furthermore, our shot-level VRAG shows higher retrieval precision than other existing video-level methods, and closer performance to frame-level methods at faster evaluation speeds. Finally, our code will be made publicly available.

研究の動機と目的

• 効率的なビデオレベルと正確なフレームレベルのビデオリtrieval手法の間のパフォーマンスギャップを埋める。
• 領域レベル特徴とグラフベースのアテンションを用いて、ビデオ内の細粒度な時空間的相互作用をモデル化する。
• 自己アテンションとグラフ畳み込みを用いて文脈に適応した領域埋め込みを学習することで、ビデオレベルリtrievalを向上させる。
• ビデオレベルとフレームレベルリtrievalの間の中間的手法として、ショットレベルのビデオ表現を検討する。
• フレームレベル手法よりも高速な推論を実現しながら、ビデオリtrievalベンチマークで最先端のパフォーマンスを達成する。

提案手法

• 各フレームから抽出されたR-MAC領域特徴をノードとするグラフとしてビデオを表現する。
• 同じフレーム内の領域間で完全部分グラフを用いて空間的関係をモデル化し、隣接フレーム間で完全接続エッジを用いて時間的関係をモデル化する。
• グラフアテンションネットワーク（GATs）を適用し、意味的類似度に基づいて領域間関係の重みを動的に学習する。
• 領域埋め込みに対する学習可能なアテンションプーリングを用いて、固定サイズのビデオレベル表現を生成する。
• ビデオをショットに分割し、ショット埋め込み間の類似度を統合することで、ショットレベルVRAGを導入する。
• さらにリtrieバルベンチマークのパフォーマンスを向上させるために、平均クエリ拡張（QE）を適用する。

実験結果

リサーチクエスチョン

• RQ1 グラフアテンションを用いて領域レベルの相互作用をモデル化することで、ビデオレベルリtrieバルのパフォーマンスが向上するか？
• RQ2 時空間的関係モデリングを組み込むことで、ビデオレベル手法がフレームレベル手法とのパフォーマンスギャップをどの程度縮小できるか？
• RQ3 VRAGを用いたショットレベル表現は、フレームレベル手法に近いリtrieバルパフォーマンスを達成するか？ また、計算コストは最小限に抑えられるか？
• RQ4 標準的なビデオリtrieバルベンチマークにおいて、VRAGは最先端のビデオレベルおよびフレームレベル手法と比較してどのように性能を発揮するか？
• RQ5 領域特徴に対する自己アテンションは、リtrieバルのための文脈に適応したビデオ埋め込み学習をどのように向上させるか？

主な発見

• EVVEベンチマークにおいて、VRAGはDSVRでmAP 0.532、CSVRで0.548、ISVRで0.518を達成し、先行するビデオレベル手法を上回る。
• FIVR5Kにおいて、VRAGはDSVRでmAP 0.532、CSVRで0.548、ISVRで0.518を達成し、すべての先行するビデオレベル手法を上回る。
• FIVR200Kにおいて、VRAGはDSVRでmAP 0.484、CSVRで0.470、ISVRで0.399を達成し、推論時間が長くても、先行するビデオレベル手法を上回る。
• ショットレベルVRAGはEVVEでDSVRでmAP 0.709、CSVRで0.704、ISVRで0.636を達成し、ViSiL fのISVR性能を超える一方で、ViSiLの50倍以上も高速である。
• EVVEにおけるビデオレベルVRAGの推論時間は12分にとどまるが、ViSiLは18時間であり、前方伝搬回数が2995回（VRAG）と150万回（ViSiL）に比べて著しく少ない。
• ショットレベルアプローチにより、ビデオレベルとフレームレベル手法のパフォーマンスギャップが縮小され、ビデオレベルベースラインを上回る高い精度が得られ、計算コストをほとんど増やさずにフレームレベルの精度に近づいた。