[論文レビュー] Online Action Recognition based on Incremental Learning of Weighted Covariance Descriptors

Chang Tang, Pichao Wang+1 more|arXiv (Cornell University)|Nov 10, 2015

Human Pose and Action Recognition参考文献 46被引用数 3

ひとこと要約

本論文では、骨格データに対する重み付き共分散記述子の段階的学習を用いたオンライン行動認識手法を提案する。最近の情報量の多いフレームに高い重要度を与えることで、時間的変化に応じて効率的に共分散記述子を更新し、MSC-12 Kinect Gestureおよび新たに収集したオンラインデータセットにおいて、従来のスライディングウィンドウ法やフレームレベル手法を上回る高い精度でリアルタイム認識を実現する。

ABSTRACT

Different from traditional action recognition based on video segments, online action recognition aims to recognize actions from unsegmented streams of data in a continuous manner. One way for online recognition is based on the evidence accumulation over time to make predictions from stream videos. This paper presents a fast yet effective method to recognize actions from stream of noisy skeleton data, and a novel weighted covariance descriptor is adopted to accumulate evidence. In particular, a fast incremental updating method for the weighted covariance descriptor is developed for accumulation of temporal information and online prediction. The weighted covariance descriptor takes the following principles into consideration: past frames have less contribution for recognition and recent and informative frames such as key frames contribute more to the recognition. The online recognition is achieved using a simple nearest neighbor search against a set of offline trained action models. Experimental results on MSC-12 Kinect Gesture dataset and our newly constructed online action recognition dataset have demonstrated the efficacy of the proposed method.

研究の動機と目的

• 行動境界が未知であり、セグメンテーションされていない動画ストリームにおけるリアルタイム行動認識の課題に対処すること。
• 最近の情報量の多いフレームに高い重みを割り当てることで、オンライン認識における時間的モデリングを向上させること。
• 共分散記述子のための効率的な段階的学習メカニズムを構築し、リアルタイムでの証拠蓄積を可能にすること。
• 事前に学習された行動モデルに対する単純な最近傍探索を用いて、正確なオンライン認識を達成すること。

提案手法

• 本手法は、中立ポーズからのずれが大きいフレームに高い重要度を割り当てる重み付き共分散記述子を用いる。
• 完全な再計算を回避しつつ、時間経過に伴う重み付き共分散記述子を効率的に維持するための段階的更新則を導出する。
• フレームの重みは、手動で選択された中立ポーズからの関節の相対的距離の平均として計算され、中立ポーズの影響を低減する。
• 共分散記述子は、新しいフレームを組み込みつつ、古いフレームの寄与度を減衰係数ηを用いて徐々に弱める再帰的公式により更新される。
• 本手法は事前学習された行動モデルを仮定し、これらのモデルに対する最近傍分類によるオンライン推論を実行する。
• 固定ウィンドウサイズの問題を回避するため、時間的順序と識別力に基づいてフレームの重要度を動的に調整する。

実験結果

リサーチクエスチョン

• RQ1 固定スライディングウィンドウに依存せずに、オンライン行動認識における時間的整合性を効果的にモデル化する方法は何か？
• RQ2 ストリーム内のフレームに最適な重み付け方法は何か。特に、最近のフレームおよび識別力の高いフレームが認識に大きく寄与するようにするには？
• RQ3 共分散記述子の段階的学習が、骨格シーケンスからの高速かつ正確なオンライン行動認識を可能にするか？
• RQ4 本手法は、フレームレベルおよびスライディングウィンドウベースの手法と比較して、精度および耐障害性において優れているか？
• RQ5 ノイズが多い未セグメンテーションのデータを含む実世界のオンライン行動認識シナリオにおいて、本手法は十分に一般化可能か？

主な発見

• 提案手法は、オンライン行動認識の分野においてMSC-12 Kinect Gestureデータセットで最先端の性能を達成した。
• ノイズの多い骨格データに対しても耐障害性を示し、行動境界が事前に定義されていなくても高い精度を維持した。
• 中立ポーズからのずれに基づくフレーム重み付けの導入により、中立ポーズの影響が低減され、認識性能が顕著に向上した。
• 段階的更新メカニズムにより、計算オーバーヘッドが低く抑えられ、リアルタイムでのデプロイメントに適したオンライン推論が可能になった。
• 特に重複するか長時間にわたる行動が発生する状況において、フレームレベルおよびスライディングウィンドウベースの手法を上回った。
• アブレーションスタディの結果、フレーム重み付けと段階的学習が性能に不可欠であることが確認され、それらを除去すると顕著な精度低下が生じた。