[論文レビュー] Segmental Spatio-Temporal CNNs for Fine-grained Action Segmentation and Classification

Colin Lea, Austin Reiter+2 more|arXiv (Cornell University)|Feb 9, 2016

Human Pose and Action Recognition被引用数 3

ひとこと要約

本稿では、シーン内の物体および関係性を表す空間的CNN、時間的変化を表す時間的CNN、アクション遷移をモデル化するための準マルコフモデルを統合したセグメンタル時空間CNNモデルを提案する。本手法により、高速かつ一括でのアクションセグメンテーションと分類が可能となり、調理および外科学的アクションデータセットにおいて最先端の性能を達成するとともに、顕著に高速な推論速度を実現した。

ABSTRACT

Joint segmentation and classification of fine-grained actions is important for applications in human-robot interaction, video surveillance, and human skill evaluation. However, despite substantial recent progress in large scale action classification, the performance of state-of-the-art fine-grained action recognition approaches remains low. In this paper, we propose a new spatio-temporal CNN model for fine-grained action classification and segmentation, which combines (1) a spatial CNN to represent objects in the scene and their spatial relationships; (2) a temporal CNN that captures how object relationships within an action change over time; and (3) a semi-Markov model that captures transitions from one action to another. In addition, we introduce an efficient segmental inference algorithm for joint segmentation and classification of actions that is orders of magnitude faster than state-of-the-art approaches. We highlight the effectiveness of our approach on cooking and surgical action datasets for which we observe substantially improved performance relative to recent baseline methods.

研究の動機と目的

• 大規模なアクション分類の進展にもかかわらず、細分化されたアクション認識の性能が低いという課題に対処すること。
• 人間-ロボットインタラクションや動画監視の応用を想定し、細分化されたアクションの同時セグメンテーションと分類を可能にすること。
• 従来の手法と比較して計算時間を著しく短縮する効率的な推論アルゴリズムの開発。
• アクションにおける空間的関係性と時間的ダイナミクスのモデリングを向上させ、認識精度を向上させること。
• ビデオシーケンスにおける明確なアクション間遷移をよりよく捉えるために、準マルコフモデルを統合すること。

提案手法

• 各フレーム内における物体およびその空間的配置を表す特徴を抽出するために、空間的CNNを用いる。
• 物体間の関係性が時間的にどのように変化するかをモデル化し、運動および相互作用のダイナミクスを捉えるために、時間的CNNを適用する。
• 空間的および時間的特徴を共有表現を通じて統合し、エンドツーエンド学習を可能にする。
• アクション境界および遷移をモデル化するために、準マルコフモデルを用い、セグメント単位での予測を可能にする。
• 最新のアプローチと比較して、数個のオーダーの速度向上を達成する新しいセグメンタル推論アルゴリズムを設計する。
• ビデオレベルのラベルを用いた弱教師付き学習により、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 空間的関係性と時間的ダイナミクスの両方をモデル化する統合型の時空間CNNアーキテクチャは、細分化されたアクション認識の性能向上に寄与するか？
• RQ2 標準的なCRFやRNNベースのアプローチと比較して、準マルコフモデルはアクション遷移をどれほど効果的に捉えられるか？
• RQ3 新しいセグメンタル推論アルゴリズムは、精度を損なわずに著しく高速な推論を達成できるか？
• RQ4 提案手法は、調理および外科学的アクションのベンチマークデータセットにおいて、最先端のアプローチを上回る性能を示すか？
• RQ5 空間的および時間的特徴表現は、セグメンテーションおよび分類性能の向上にどの程度寄与しているか？

主な発見

• 提案手法は、最近のベースライン手法と比較して、調理および外科学的アクションデータセットにおいて顕著に高い性能を達成した。
• セグメンタル推論アルゴリズムは、最先端のアプローチと比較して、数個のオーダーの高速化を達成しており、リアルタイムまたはニアリアルタイムの推論を可能にした。
• 空間的、時間的、および準マルコフモデリングの統合により、より正確なアクション境界の検出と分類が可能になった。
• 従来の手法が性能を発揮できない細分化されたアクション認識タスクにおいても、本モデルは優れた汎化性能を示した。
• アブレーションスタディの結果、空間的および時間的モデリングの両方が、全体の性能向上に顕著に寄与していることが確認された。