[論文レビュー] Online Learnable Keyframe Extraction in Videos and its Application with Semantic Word Vector in Action Recognition

G M Mashrur E Elahi, Yee‐Hong Yang|arXiv (Cornell University)|Sep 25, 2020

Video Analysis and Summarization参考文献 37被引用数 4

ひとこと要約

本論文は、学習可能なしきい値とモーショングラフィックス特徴を用いて、リアルタイムで判別性の高い動画フレームを選択するオンライン学習可能なキーフレーム抽出モジュール（OKFEM）を提案する。この手法により、計算負荷が顕著に低減される。本手法は、キーフレームと意味的単語ベクトルを組み合わせた新しいプラグインモジュールを用いることで、30%のフレームのみを用いても最先端の性能を達成し、さらなる向上が得られる。

ABSTRACT

Video processing has become a popular research direction in computer vision due to its various applications such as video summarization, action recognition, etc. Recently, deep learning-based methods have achieved impressive results in action recognition. However, these methods need to process a full video sequence to recognize the action, even though most of these frames are similar and non-essential to recognizing a particular action. Additionally, these non-essential frames increase the computational cost and can confuse a method in action recognition. Instead, the important frames called keyframes not only are helpful in the recognition of an action but also can reduce the processing time of each video sequence for classification or in other applications, e.g. summarization. As well, current methods in video processing have not yet been demonstrated in an online fashion. Motivated by the above, we propose an online learnable module for keyframe extraction. This module can be used to select key-shots in video and thus can be applied to video summarization. The extracted keyframes can be used as input to any deep learning-based classification model to recognize action. We also propose a plugin module to use the semantic word vector as input along with keyframes and a novel train/test strategy for the classification models. To our best knowledge, this is the first time such an online module and train/test strategy have been proposed. The experimental results on many commonly used datasets in video summarization and in action recognition have shown impressive results using the proposed module.

研究の動機と目的

• 行動認識のためのフルビデオディープラーニング手法における高い計算コストと冗長性に対処すること。
• 従来のキーフレーム抽出手法の限界、特にオフライン処理であることと、手動または複雑なフレーム選択に依存していることへの対処。
• 直近の隣接フレーム情報のみを用いて、逐次的にキーフレームを選択するオンラインでエンドツーエンド学習可能なモジュールの開発。
• 意味的単語ベクトルを補助入力モodalとして統合することで、行動認識性能の向上。
• キーフレームベースの認識におけるモデルの汎化性能と精度を向上させるための新しいトレーニング・インフェンス戦略（ITTS）の確立。

提案手法

• 運動特徴と学習可能なしきい値（TH）を用いて、逐次的に動画フレームを処理するオンラインキーフレーム抽出モジュール（OKFEM）を提案。
• 可変畳み込み特徴を活用し、空間的・時間的ダイナミクスを捉え、局所的な運動変化に基づいてキーフレーム選択をガイド。
• トレーニング中に最適化されるように学習可能なしきい値メカニズムを導入し、フレームの類似度と運動エネルギーに基づいてキーフレーム選択を最適化。
• キーフレーム特徴と意味的単語ベクトル（W2V）を融合するプラグインモジュールを設計し、行動分類のための意味的文脈を豊かに。
• キーフレームと単語ベクトルのみを用いて、効果的なファインチューニングとインフェンスが可能な、新しいトレーニング/テスト戦略（ITTS）を構築。
• キーフレーム選択の正確性を向上させるために、交差エントロピーとフレームレベルの監視を組み合わせたハイブリッド損失関数を採用。

実験結果

リサーチクエスチョン

• RQ1 オンラインで学習可能なキーフレーム抽出手法は、計算コストを低減しつつ、行動認識の精度を維持または向上させることができるか？
• RQ2 提案されたOKFEMモジュールは、フルビデオ処理と比較して、代表的なフレームをどれほど効果的に選択できるか？
• RQ3 キーフレームに意味的単語ベクトルを統合することで、行動認識性能はどの程度向上するか？
• RQ4 提案されたITTSトレーニング戦略は、キーフレームベースの認識におけるモデルの汎化性能を向上させることができるか？
• RQ5 本手法は、動画要約および行動認識ベンチマークで最先端の性能を達成するか？

主な発見

• OKFEMは、元の動画の30%未満のフレーム使用で高い認識精度を維持し、計算コストを顕著に低減する。
• HMDB51データセットでは、OKFEM+I3Dが元のI3Dモデルを3.6%上回る精度を達成し、キーフレームベース表現の有効性を示している。
• W2Vプラグインモジュールの追加により性能が向上し、OKFEM+W2V+I3DはHMDB51で87.9%の精度を達成し、ベースラインを4.1%上回っている。
• Something-Something-V1およびKinetics-400では、OKFEM+W2V+ResNet152が最先端の結果を達成し、フルビデオシーケンスを用いたモデルを上回っている。
• 定性的な分析から、選択されたキーフレームが正解の重要度スコアと密接に一致していることが確認され、本手法のフレーム選択精度が裏付けられている。
• トランスファーラーニング設定において、SumMeおよびTVSumデータセットでも最高の結果を達成しており、強力な汎化性能と要約能力が確認された。