[論文レビュー] Feature Sampling Strategies for Action Recognition

Youjie Zhou, Hongkai Yu+1 more|arXiv (Cornell University)|Jan 28, 2015

Human Pose and Action Recognition参考文献 10被引用数 7

ひとこと要約

本稿では、密度的な軌道を用いた行動認識のための動きに配慮した特徴抽出戦略を提案する。オブジェクト候補技術（EdgeBoxおよびFusionEdgeBox）を活用し、情報量の多い特徴を効率的に抽出する。25%少ない特徤で最先端の精度を達成し、特徴の70%を破棄しても競争力ある性能を維持する。

ABSTRACT

Although dense local spatial-temporal features with bag-of-features representation achieve state-of-the-art performance for action recognition, the huge feature number and feature size prevent current methods from scaling up to real size problems. In this work, we investigate different types of feature sampling strategies for action recognition, namely dense sampling, uniformly random sampling and selective sampling. We propose two effective selective sampling methods using object proposal techniques. Experiments conducted on a large video dataset show that we are able to achieve better average recognition accuracy using 25% less features, through one of proposed selective sampling methods, and even remain comparable accuracy while discarding 70% features.

研究の動機と目的

• 大規模な動画行動認識における密度的軌道特徴の計算および保存負荷を軽減すること。
• 特徴削減において、注視マップに基づく選択的抽出がランダムまたは均一抽出を上回るかを調査すること。
• 眼動追跡データに依存せずに、オブジェクト候補技術を用いて動きに関連する領域を同定するデータ駆動型の抽出戦略を開発すること。
• オブジェクト候補と動き情報の統合が、行動認識における特徴選択の効果を向上させるかを評価すること。

提案手法

• オブジェクト候補アルゴリズム（EdgeBoxおよび新規の動き強化型変種であるFusionEdgeBox）を用いた2つの選択的抽出手法を提案し、特徴抽出を誘導する注視マップを生成する。
• オブジェクト候補から注視マップを構築し、特に動く人物などの関心領域から密度的軌道特徴を優先的に抽出する。
• 次に、主成分分析（PCA）による次元削減と混合ガウスモデル（GMM）コードブック学習を用いたフィッシャー符号化により、抽出された特徴のコンパクトな表現を構築する。
• 最終的な特徴ベクトルに対して線形SVMを用い、1対すべて分類法を適用して行動認識を実行する。
• 各軌道ごとに、動き境界ヒストグラム（MBHx、MBHy）と外観記述子（HOG、HOF）を統合した特徴ベクトルを構築する。
• 空間的および動きに基づく手がかりを統合したハイブリッド抽出戦略を採用し、特徴の関連性を向上させるとともに、重複を低減する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト候補に基づく選択的抽出が、ランダム抽出や密度的抽出と比較して行動認識の精度を向上させられるか？
• RQ2 オブジェクト候補生成に動き情報を組み込むことで、行動認識のための特徴抽出品質が向上するか？
• RQ3 特徴削減に選択的抽出を適用した場合、特徴の70%を破棄しても認識性能に与える影響は何か？
• RQ4 アノテートされた人体ポーズが不要なデータ駆動型抽出戦略が、真値のバウンディングボックスに基づく抽出を上回るか？

主な発見

• FusionEdgeBoxに基づく選択的抽出法は、元の特徴の75%のみを用いてJ-HMDBで平均65.91%の精度を達成し、全特徴セット（62.88%）を上回りながらメモリ使用量も削減した。
• DT特徴においても、特徴の70%を破棄した状態で、FusionEdgeBox法は60.71%の精度を維持した。これは、ランダム抽出（59.90%）およびEdgeBox（58.51%）を上回った。
• iDT特徴では、低抽出率におけるランダム抽出がわずかに優れた性能を示したが、これはiDTに内在するノイズ低減効果によるものであり、選択的抽出法は顕著な特徴削減の下でも同等の結果を達成した。
• 真値バウンディングボックス（GT）を用いた抽出は、DTにおいて全特徴セットを上回る精度を達成した。これは、人間中心の特徴がより判別力に優れていることを裏付けた。
• DT特徴評価において、FusionEdgeBox法はGTベースの抽出を上回った。これは、人為的アノテーションがなくても、動きに配慮した候補が関心領域を効果的に同定できることを示している。
• 本手法は、スタックドフィッシャー符号化を用いた高度な符号化手法を用いるベースラインと比較して、20–25%少ない特徴で最先端の性能を達成した。