[論文レビュー] Exploring global diverse attention via pairwise temporal relation for video summarization

Ping Li, Qinghao Ye+4 more|arXiv (Cornell University)|Sep 23, 2020

Video Analysis and Summarization参考文献 44被引用数 7

ひとこと要約

この論文では、ペアワイズ時系列関係を介してグローバルで多様なアテンションを用いることで、フレームの多様性と要約品質を向上させる動画要約モデル、SUM-GDAを提案する。すべてのフレーム間の類似度をモデル化し、行列式点プロセス（DPP）を活用することで、RNNベースの手法よりも計算コストが低く、最先端の性能を達成する。

ABSTRACT

Video summarization is an effective way to facilitate video searching and browsing. Most of existing systems employ encoder-decoder based recurrent neural networks, which fail to explicitly diversify the system-generated summary frames while requiring intensive computations. In this paper, we propose an efficient convolutional neural network architecture for video SUMmarization via Global Diverse Attention called SUM-GDA, which adapts attention mechanism in a global perspective to consider pairwise temporal relations of video frames. Particularly, the GDA module has two advantages: 1) it models the relations within paired frames as well as the relations among all pairs, thus capturing the global attention across all frames of one video; 2) it reflects the importance of each frame to the whole video, leading to diverse attention on these frames. Thus, SUM-GDA is beneficial for generating diverse frames to form satisfactory video summary. Extensive experiments on three data sets, i.e., SumMe, TVSum, and VTW, have demonstrated that SUM-GDA and its extension outperform other competing state-of-the-art methods with remarkable improvements. In addition, the proposed models can be run in parallel with significantly less computational costs, which helps the deployment in highly demanding applications.

研究の動機と目的

• 順序処理に依存するRNNベースの動画要約モデルに明示的な多様性が欠けている問題に対処すること。
• 再帰的計算を伴わず、長距離の時系列依存関係を捉えられる、効率的で並列処理可能なアーキテクチャの開発。
• ペアワイズ類似度を用いてグローバルなフレーム関係をモデル化し、選択された要約フレームの意味的多様性を向上させること。
• 最小限の人的アノテーションで、教師ありおよび教師なしの両方の動画要約を可能にすること。
• ベンチマークデータセット上で最先端の性能を維持または上回りながら、計算効率を向上させること。

提案手法

• グローバルで多様なアテンション（GDA）モジュールは、すべての動画フレーム間のペアワイズ類似度行列を計算し、マルチスケールの時系列関係をモデル化する。
• 類似度行列の各行は、あるフレームが他のすべてのフレームに対して持つアテンションレベルを表し、類似度が低いほど多様性に寄与する重要度が高くなる。
• 不類似度重みからフレームの重要度スコアが導出され、意味的に異なるフレームの選択が促進される。
• 行列式点プロセス（DPP）を用いて、高スコアのフレームの多様なサブセットを最終要約用に選択する。
• モデルは畳み込みニューラルネットワーク（CNN）アーキテクチャで実装されており、GPUの完全な並列処理が可能で、推論コストが低減される。
• 動きを捉えるために光流特徴が入力モodalitiyとして組み込まれているが、その影響はデータセットによって異なる。

実験結果

リサーチクエスチョン

• RQ1 すべての動画フレーム間のペアワイズ時系列関係を効果的にモデル化することで、動画要約におけるグローバルアテンションとフレーム多様性が向上するか？
• RQ2 フレーム間のペアワイズ類似度に基づくグローバルアテンション機構は、要約品質と効率性において自己回帰的RNNベースの手法を上回るか？
• RQ3 光流特徴を組み込むことで、多様な動画データセットにおける要約性能がどの程度向上するか？
• RQ4 提案手法は教師ありおよび教師なしの両設定で強力な性能を達成できるか？
• RQ5 グローバルで多様なアテンション機構は、生成された要約における冗長性の低減と意味的完全性の向上にどのように寄与するか？

主な発見

• SUM-GDAはSumMe、TVSum、VTWの各データセットで最先端の性能を達成し、正規設定下でTVSumで61.0のF1スコアを記録した。
• モデルはVTWで60.2、SumMeで59.6のF1スコアを向上させ、以前の最先端手法を上回った。
• 教師なし設定では、SUM-GDA unsupはSumMeで59.6、VTWで60.2のF1スコアを達成し、強力なゼロショット能力を示した。
• 光流特徴は、アクションが多く含まれるTVSumでは顕著に性能を向上（F1: 59.2 → 61.0）させたが、SumMeとVTWでは動きに関係のないシーンの影響で性能が低下した。
• RNNの逐次的依存性を回避する並列処理可能なCNNアーキテクチャのおかげで、計算コストが低減された。
• 可視化結果から、グローバルで多様なアテンション機構が意味的に多様なフレームを効果的に選択しており、要約の冗長性が著しく低減されていることが確認された。