[論文レビュー] Beyond Spatial Pyramid Matching: Space-time Extended Descriptor for Action Recognition

Zhenzhong Lan, Alexander G. Hauptmann|arXiv (Cornell University)|Oct 15, 2015

Human Pose and Action Recognition参考文献 24被引用数 5

ひとこと要約

本稿では、空間時間的位置を局所的特徴記述子に直接埋め込むことで、空間時間的ピラミッドの高次元性と人工的なグリッド境界を回避する、シンプルで効果的な動画行動認識手法であるSpace-time Extended Descriptor (STED) を提案する。STEDは、複数のベンチマークでSTPと同等またはそれ以上の精度を達成しながら、顕著に低次元の表現を用いる。

ABSTRACT

We address the problem of generating video features for action recognition. The spatial pyramid and its variants have been very popular feature models due to their success in balancing spatial location encoding and spatial invariance. Although it seems straightforward to extend spatial pyramid to the temporal domain (spatio-temporal pyramid), the large spatio-temporal diversity of unconstrained videos and the resulting significantly higher dimensional representations make it less appealing. This paper introduces the space-time extended descriptor, a simple but efficient alternative way to include the spatio-temporal location into the video features. Instead of only coding motion information and leaving the spatio-temporal location to be represented at the pooling stage, location information is used as part of the encoding step. This method is a much more effective and efficient location encoding method as compared to the fixed grid model because it avoids the danger of over committing to artificial boundaries and its dimension is relatively low. Experimental results on several benchmark datasets show that, despite its simplicity, this method achieves comparable or better results than spatio-temporal pyramid.

研究の動機と目的

• 制約のない動画における大きな空間時間的ばらつきに対処できない空間時間的ピラミッド（STP）手法の限界を解消すること。
• 固定グリッドプーリングに起因するSTPによる高次元特徴表現を低減し、計算コストの増加を抑えること。
• 特徴符号化プロセスの初期段階で空間時間的位置情報を統合することで、行動認識性能を向上させること。
• 人工的な空間時間的境界に過剰に依存しない、よりロバストで効率的なSTPの代替手法を開発すること。
• 特徴記述子に直接位置を符号化することで、プーリングベースの手法と比較して一般化性能が向上し、次元数が低減することを実証すること。

提案手法

• 動き・外観記述子 φi に正規化された空間時間的座標 (x, y, t) を付加することで、空間時間拡張記述子を構築する。
• 結合された記述子に対して、局所符号化スキーム g: φi → ℝ^K（例：スパースコーディングまたは局所性に敏感なハッシュ化）を適用し、コンactで位置に敏感な特徴を生成する。
• 固定グリッド分割に依存するプールステージを避けるために、符号化段階で空間的・時間的位置を直接記述子に埋め込む。
• Fisherベクトル符号化を用いた標準的なBoFパイプラインを複数の動画データセットに適用し、評価を実施する。
• STEDとSTPを比較するため、複数の時間的ピラミッドレベル（l=1 から l=8）で評価を行い、ロバストネスとパフォーマンスのトレードオフを検証する。
• 標準的な評価指標を用いる：UCF50 と HMDB51 では平均正解率（mAcc）、Hollywood2 と Olympic Sports では平均平均精度（mAP）を用いる。

実験結果

リサーチクエスチョン

• RQ1 特徴記述子に空間時間的位置を直接符号化することで、プーリングベースの空間時間的ピラミッド手法を行動認識で上回ることができるか？
• RQ2 符号化段階で位置情報を統合することで、STPと比較して次元数を低減しつつ、認識精度を維持または向上させることができるか？
• RQ3 HMDB51 や Hollywood2 のような、空間時間的ばらつきの異なる多様な動画データセットにおいて、STEDはどのように性能を発揮するか？
• RQ4 制約のない動画環境において、人工的なグリッド境界の悪影響をSTEDはどの程度軽減できるか？
• RQ5 Olympic Sports データセットのように、学習サンプル数が限られているデータセットに適用した際、STEDはSTPよりもロバスト性に優れているか？

主な発見

• STEDは、UCF50、HMDB51、Hollywood2、Olympic Sports の4つのベンチマークデータセットすべてで一貫して性能向上を示す一方、STPは一貫性に欠け、場合によっては性能が低下する。
• HMDB51 では、STEDが62.1%の平均正解率を達成し、ベースライン（59.0%）より3.1%の絶対的向上を示し、l=2 のSTP（61.3%）を上回る。
• Hollywood2 では、STEDが67.0%のmAPを達成し、ベースライン（64.6%）より2.4%向上し、l=2 のSTP（67.4%）を上回る。
• UCF50 では、STEDが93.0%のmAccを達成し、ベースライン（91.5%）より1.5%向上し、l=2 のSTP（92.6%）を上回る。
• Olympic Sports データセットでは、STEDが89.8%のmAPを達成し、STP（89.3%）をわずかに上回るが、クラスあたりのテストサンプル数が少ないので、統計的信頼性は限定的である。
• STEDは、STPと比較して顕著に低次元の表現を用いることで、最先端または競争力のある性能を達成しており、計算効率が優れている。