[論文レビュー] Temporal Extension of Scale Pyramid and Spatial Pyramid Matching for Action Recognition

Zhenzhong Lan, Xuanchong Li+1 more|arXiv (Cornell University)|Aug 29, 2014

Human Pose and Action Recognition参考文献 2被引用数 11

ひとこと要約

本論文は、動画行動認識のためのスケールおよび空間ピラミッドマッチングの時間的拡張を提案し、時間的スケール不変性を達成するとともに時間順序を保持するため、Temporal Scale Pyramid (TSP)、Temporal Extension Descriptor (TED)、Temporal Division Pyramid (TDP) を導入している。この手法は、行動認識の正確性を顕著に向上させ、HMDB51 および Hollywood2 でそれぞれ 65.0% の平均正答率および 68.2% の平均平均適合率を達成しており、最先端手法よりもそれぞれ 7.8% および 3.9% の絶対的向上を示している。

ABSTRACT

Historically, researchers in the field have spent a great deal of effort to create image representations that have scale invariance and retain spatial location information. This paper proposes to encode equivalent temporal characteristics in video representations for action recognition. To achieve temporal scale invariance, we develop a method called temporal scale pyramid (TSP). To encode temporal information, we present and compare two methods called temporal extension descriptor (TED) and temporal division pyramid (TDP) . Our purpose is to suggest solutions for matching complex actions that have large variation in velocity and appearance, which is missing from most current action representations. The experimental results on four benchmark datasets, UCF50, HMDB51, Hollywood2 and Olympic Sports, support our approach and significantly outperform state-of-the-art methods. Most noticeably, we achieve 65.0% mean accuracy and 68.2% mean average precision on the challenging HMDB51 and Hollywood2 datasets which constitutes an absolute improvement over the state-of-the-art by 7.8% and 3.9%, respectively.

研究の動機と目的

• 複雑な人間の行動を対象とした既存の動画表現における時間的スケール不変性および時間順序符号化の欠如に対処する。
• 行動速度の大きな変動や時間的順序の変動に対処できない現在の手法の限界を克服する。
• 画像処理の原則にインspiredされた実用的で経験的に検証された技術を、動画行動認識のための開発する。
• 行動の変動が著しい実世界の挑戦的ベンチマーク、例えば HMDB51 や Hollywood2 における性能向上を図る。
• TSP、TED、TDP を組み合わせたモジュラーなフレームワークを提供し、動画表現パイプラインの異なる段階に柔軟に適用可能にする。

提案手法

• 時間的スケールを行動速度としてモデル化することで、画像処理におけるスケール空間理論に類似した方法で、時間的スケール不変性を達成する Temporal Scale Pyramid (TSP) を導入する。
• 一次元の時間的情報を生の特徴に符号化する Temporal Extension Descriptor (TED) を提案し、空間的拡張に類似した方法で、時間的文脈を特徴表現に強化する。
• 動画を時間的サブ領域に分割し、局所的特徴統計を計算する特徴プーリング手法としての Temporal Division Pyramid (TDP) を開発し、時間的モデリングにおいて空間ピラミッドマッチングを模倣する。
• TSP を特徴抽出段階に統合し、TED を特徴量子化およびプーリング段階に、TDP をプーリング段階に適用することで、モジュラーかつ柔軟な組み合わせを可能にする。
• ベースとなる特徴表現として Dense Trajectories と Fisher vector 符号化を用い、TSP、TED、TDP を異なる段階に適用することで、識別力の向上を図る。
• 最適なパフォーマンスを得るために TSP + TED + TDP を組み合わせ、アブレーションスタディーにより TSP + TED が強力で効率的なベースラインであることが示された。

実験結果

リサーチクエスチョン

• RQ1 画像のスケール空間理論に類似したピラミッドベースのアプローチを用いて、動画表現における時間的スケール不変性を効果的にモデル化できるか？
• RQ2 複雑な時間的モデルに依存せずに、時間的順序および順序的ダイナミクスを動画特徴に符号化する方法は何か？
• RQ3 複数の時間的符号化技術（TSP、TED、TDP）を組み合わせた場合、多様なベンチマークにおける行動認識パフォーマンスに及ぼす影響は何か？
• RQ4 HMDB51 や Hollywood2 のような挑戦的な実世界データセットにおいて、本手法は最先端のアプローチと比較してどのように差をつけるか？
• RQ5 時間的スケールおよび順序モデリングを組み込む際の計算コストは何か？また、顕著な正確性の向上を達成しつつ、コストを低く抑えることは可能か？

主な発見

• 提案手法は、挑戦的な HMDB51 および Hollywood2 データセットでそれぞれ 65.0% の平均正答率および 68.2% の平均平均適合率を達成しており、前回の最先端手法よりもそれぞれ 7.8% および 3.9% の絶対的向上を示している。
• TSP + TED 組み合わせが最良の全体的パフォーマンスを示し、UCF50 で 94.2%、HMDB51 で 65.0%、Hollywood2 で 67.9%、Olympic Sports で 92.9% の正答率を達成した。
• スケールレベル 2 を用いた TSP は、安定的かつ最適なパフォーマンスを発揮し、単一パス法の 2 倍未満の計算コストで顕著な正確性向上を実現した。
• TDP は TSP および TED と組み合わせることで Hollywood2 におけるパフォーマンスを向上させたが、特徴ベクトルのサイズが著しく増加したため、性能と効率のトレードオフが生じていることが示された。
• Shao ら（HMDB51 で 37.3%）や Shi ら（HMDB51 で 47.6%）が用いた異なる特徴を用いた最近の手法よりも優れた性能を示し、本手法の頑健性および一般化能力の高さを裏付けた。
• 実験により、TSP、TED、TDP の組み合わせが、4 つのベンチマークデータセットすべてで一貫した向上をもたらすことが確認され、マルチステージでモジュラーな設計の有効性が検証された。