[論文レビュー] A Hybrid Framework for Action Recognition in Low-Quality Video Sequences

Tej Singh, Dinesh Kumar Vishwakarma|arXiv (Cornell University)|Mar 11, 2019

Human Pose and Action Recognition参考文献 29被引用数 5

ひとこと要約

本論文は、低品質な動画シーケンスにおけるロバストな人間の行動認識のためのハイブリッドフレームワークを提案する。照明補強に部分画像ヒストグラム等化を、特徴抽出にkキー姿勢シルエットを組み合わせた手法であり、Weizmann、KTH、Ballet Movementといった劣化したデータセットにおいて、低露出条件下でも既存手法を上回る高い認識精度を達成するとともに、最先端手法と同等の性能を維持する。

ABSTRACT

Vision-based activity recognition is essential for security, monitoring and surveillance applications. Further, real-time analysis having low-quality video and contain less information about surrounding due to poor illumination, and occlusions. Therefore, it needs a more robust and integrated model for low quality and night security operations. In this context, we proposed a hybrid model for illumination invariant human activity recognition based on sub-image histogram equalization enhancement and k-key pose human silhouettes. This feature vector gives good average recognition accuracy on three low exposure video sequences subset of original actions video datasets. Finally, the performance of the proposed approach is tested over three manually downgraded low qualities Weizmann action, KTH, and Ballet Movement dataset. This model outperformed on low exposure videos over existing technique and achieved comparable classification accuracy to similar state-of-the-art methods.

研究の動機と目的

• 劣化した照明や隠蔽要因を伴う低品質な動画シーケンスにおける人間の行動認識の課題に対処すること。
• リアルタイム監視・モニタリング用途に適した、照明に依存しないロバストなモデルを開発すること。
• 画像前処理とポーズベースのシルエットを用いて、低露出動画における特徴表現を向上させること。
• 標準的な行動認識データセットの手動による劣化版を用いて性能を評価すること。
• 低入力品質にもかかわらず、最先端手法と比較して競争力のある分類精度を達成すること。

提案手法

• 低露出動画フレームのコントラストと可視性を向上させるために、部分画像ヒストグラム等化を適用する。
• 強化されたフレームからkキー姿勢の人体シルエットを抽出し、時間的行動パターンを表現する。
• 機械学習モデルを用いて分類のための特徴ベクトルをシルエットから構築する。
• 画像強調とポーズベース表現を組み合わせたハイブリッドアプローチにより、耐性を向上させる。
• Weizmann Action、KTH、Ballet Movementの3つの手動で劣化させたデータセットを用いてフレームワークをテストする。
• 既存手法との性能比較のため、標準的な評価プロトコルを採用する。

実験結果

リサーチクエスチョン

• RQ1 部分画像ヒストグラム等化は、低露出動画シーケンスにおける認識精度の向上に有効に機能するか？
• RQ2 kキー姿勢シルエットの使用は、低品質動画における特徴表現をどのように向上させるか？
• RQ3 ハイブリッドフレームワークは、劣化した動画データセットにおいて既存手法を上回るか？
• RQ4 提案手法は、低品質な条件下でも最先端手法と同等の精度をどの程度維持できるか？
• RQ5 監視シナリオにおける照明の変動や隠蔽要因に対して、このフレームワークはどの程度の耐性を示すか？

主な発見

• 提案フレームワークは、3つの低露出動画シーケンスサブセットにおいて、既存手法よりも高い平均認識精度を達成した。
• Weizmann Action、KTH、Ballet Movementデータセットの手動による劣化版において、ベースライン手法を上回った。
• 入力動画品質が著しく劣化しても、最先端手法と同等の認識精度を維持した。
• 部分画像ヒストグラム等化は、劣悪な照明が特徴抽出に与える影響を効果的に軽減した。
• kキー姿勢シルエット表現は、低品質な条件下でも安定的かつ識別性の高い特徴を提供した。
• ハイブリッドモデルは、限られた視覚的情報のもとでも、リアルタイム監視応用において高い耐性を示した。