[論文レビュー] Deep Keyframe Detection in Human Action Videos

Xiang Yan, Syed Zulqarnain Gilani+4 more|arXiv (Cornell University)|Apr 26, 2018

Human Pose and Action Recognition参考文献 33被引用数 15

ひとこと要約

本論文は、線形判別分析（LDA）に基づく新しい自動ラベル生成法を用いて、人間の行動動画におけるキーフレーム検出のための深層2ストリームConvNetを提案する。このモデルは、UCF101データセット上で1フレーム未満の平均位置誤差を達成し、キーフレーム検出分野における初めてのディープラーニングベースのベンチマークを確立した。

ABSTRACT

Detecting representative frames in videos based on human actions is quite challenging because of the combined factors of human pose in action and the background. This paper addresses this problem and formulates the key frame detection as one of finding the video frames that optimally maximally contribute to differentiating the underlying action category from all other categories. To this end, we introduce a deep two-stream ConvNet for key frame detection in videos that learns to directly predict the location of key frames. Our key idea is to automatically generate labeled data for the CNN learning using a supervised linear discriminant method. While the training data is generated taking many different human action videos into account, the trained CNN can predict the importance of frames from a single video. We specify a new ConvNet framework, consisting of a summarizer and discriminator. The summarizer is a two-stream ConvNet aimed at, first, capturing the appearance and motion features of video frames, and then encoding the obtained appearance and motion features for video representation. The discriminator is a fitting function aimed at distinguishing between the key frames and others in the video. We conduct experiments on a challenging human action dataset UCF101 and show that our method can detect key frames with high accuracy.

研究の動機と目的

• 人間の行動動画におけるキーフレーム検出のためのベンチマークデータセットおよび正解ラベルの不足に対処すること。
• 手動ラベリングに依存せずに、代表的なフレームを自動的に検出できるエンドツーエンドのディープラーニングフレームワークの開発。
• 行動カテゴリを効果的に区別するフレームを特定することで、動画要約および行動認識の向上。
• 人間によるラベリングの主観性と一貫性の欠如を克服し、客観的でデータ駆動型のラベル生成手法を導入。
• 畳み込みニューラルネットワーク（CNN）と線形判別分析（LDA）を組み合わせることで、動画内のフレーム重要度予測の有効性を示すこと。

提案手法

• RGBフレームとオプティカルフローを別々に処理する2ストリームConvNetアーキテクチャを用い、空間的および時間的特徴を抽出。
• 最終畳み込み層（f_c7）からの外観特徴と運動特徴を、各フレームごとに空間的・時間的特徴ベクトルに連結。
• 全動画レベルの特徴に対して線形判別分析（LDA）を適用し、低次元の判別性の高い空間に射影。
• 各フレームのLDA射影がクラス重心からの距離を計算することで、フレームレベルのラベルを自動生成。クラス重心に近いフレームほど高いスコアを付与。
• 自動生成ラベルを用いて、キーフレームと非キーフレームを区別するためのディスクラミネーター頭部を訓練。
• RGBおよびオプティカルフロー入力を用い、フレーム数と位置の両方の精度を最適化する損失関数を用いて、UCF101データセット上でエンドツーエンドにモデルを訓練。

実験結果

リサーチクエスチョン

• RQ1 正解ラベルが存在しない状況下でも、ディープラーニングモデルが人間の行動動画におけるキーフレームを高精度に検出できるか？
• RQ2 LDAベースの自動ラベル生成法は、キーフレーム検出のための信頼性のあるフレームレベルの教師信号を効果的に生成できるか？
• RQ3 外観と運動の両方を統合的にモデル化する2ストリームConvNetは、人間の行動の本質を捉える代表的なフレームをどの程度正確に特定できるか？
• RQ4 標準ベンチマーク上で、提案手法は従来手法に比べてキーフレームの位置および数の精度で優れているか？
• RQ5 1動画に複数のキーフレームが検出されることから、モデルが複雑な行動を部分的なイベントに暗黙的に分解できているか？

主な発見

• 提案手法はUCF101データセット上で平均1フレーム未満のキーフレーム位置誤差を達成し、高い時間的精度を示した。
• 検出されたキーフレーム数が正解と非常に近く、平均数の一致誤差が低く抑えられており、フレーム数推定の堅牢性を示した。
• 定性的な結果から、多様な行動カテゴリにわたり、持ち上げる、投げる、着地するといった重要な行動フェーズに対応するフレームが正しく検出された。
• 「ベースボールピッチ」「クリーンアンドジャーク」「ダイビング」「ハイジャンプ」などの行動では、3つの主要なサブイベントが明確に特定されており、暗黙的な行動分解が成功していることを示した。
• LDAを用いた自動ラベル生成により、一貫性があり判別性の高いフレームレベルの教師信号が得られ、人間によるラベルなしでも効果的な学習が可能になった。
• 本研究は、UCF101におけるディープラーニングベースのキーフレーム検出の最初のベンチマーク結果を提示し、今後の研究の新しい基準を確立した。