[論文レビュー] Sliding Dictionary Based Sparse Representation For Action Recognition

Yashas Annadani, D. L. Rakshith+1 more|arXiv (Cornell University)|Nov 1, 2016

Human Pose and Action Recognition参考文献 21被引用数 6

ひとこと要約

本論文では、3次元骨格関節を用いたアクション認識のためのスライディング辞書に基づくスパース表現手法を提案する。時間に依存する辞書からの再構成誤差とフレームレベルの関節逸脱特徴をスコアレベルで統合することで、部分的なシーケンスを含むオフラインおよびオンライン設定でも高い性能を発揮する。UTKデータセットでは88.89%、UTDデータセットでは79.07%の正確性を達成し、良好な性能を示している。

ABSTRACT

The task of action recognition has been in the forefront of research, given its applications in gaming, surveillance and health care. In this work, we propose a simple, yet very effective approach which works seamlessly for both offline and online action recognition using the skeletal joints. We construct a sliding dictionary which has the training data along with their time stamps. This is used to compute the sparse coefficients of the input action sequence which is divided into overlapping windows and each window gives a probability score for each action class. In addition, we compute another simple feature, which calibrates each of the action sequences to the training sequences, and models the deviation of the action from the each of the training data. Finally, a score level fusion of the two heterogeneous but complementary features for each window is obtained and the scores for the available windows are successively combined to give the confidence scores of each action class. This way of combining the scores makes the approach suitable for scenarios where only part of the sequence is available. Extensive experimental evaluation on three publicly available datasets shows the effectiveness of the proposed approach for both offline and online action recognition tasks.

研究の動機と目的

• 3次元骨格関節を用いたオフラインおよびオンラインアクション認識のための統一フレームワークの構築。
• 時間スタンプを付与した訓練データをスライディング辞書に組み込むことで、時間的ずれや部分的シーケンス認識の問題に対処。
• スパース再構成誤差と関節逸脱補正特徴の2つの補完的特徴を統合することで、認識のロバスト性を向上。
• 最小限の遅延でリアルタイムかつ逐次的な信頼度スコアリングを可能にし、オンラインアクション認識を実現。
• 部分的なデータの可用性を想定した、標準ベンチマークにおける有効性の実証。

提案手法

• 時間スタンプを付与した訓練シーケンスを用いてスライディング辞書を構築し、時間的ダイナミクスをモデル化。
• 入力アクションシーケンスを重複する時間窓に分割し、フレームレベルの分析を実施。
• 各窓に対して辞書を用いてスパース係数を計算し、再構成誤差に基づく確率スコアを各アクションクラスごとに導出。
• テストシーケンスが訓練シーケンスからどれほど逸脱しているかをモデル化するフレームレベルの関節逸脱特徴を導入。
• 各窓における再構成誤差と逸脱特徴のスコアレベル統合により、信頼度スコアを生成。
• 新規フレームの到着に伴い、利用可能なすべての窓のスコアを逐次的に集約し、オンラインでの信頼度蓄積を可能に。

実験結果

リサーチクエスチョン

• RQ1 時間スタンプを付与した訓練データに基づくスライディング辞書は、部分的シーケンスの可用性がある状況でもアクション認識のロバスト性を向上させるか？
• RQ2 スパース再構成誤差と関節逸脱特徴の統合は、アクション分類に対してどの程度効果的か？
• RQ3 本手法は、アクションシーケンスの一部しか利用できない状況においても、どの程度の正確性を維持するか？
• RQ4 逐次的信頼度スコアリング機構により、オンラインアクション認識で信頼性の高い早期予測が可能か？
• RQ5 標準的な3次元アクション認識ベンチマークにおいて、最先端の手法と比較して本手法はどの程度優れているか？

主な発見

• 本手法は、辞書の入力として共分散記述子を用いることで、UTKデータセットで88.89%、UTDデータセットで79.07%の認識正確性を達成した。
• 全フレームの10%しか利用できない状況でも、UTKデータセットで59.6%の正確性を達成し、優れた早期予測能力を示した。
• 全シーケンス長の約70%の時点で最大性能のおよそ90%に達するなど、部分的シーケンス認識において効果的であることが示された。
• 正解クラスの信頼度スコアはフレーム数が増えるにつれて一貫して上昇する一方で、誤りクラスは減少するため、信頼性の高いオンライン意思決定が可能である。
• オフラインからオンラインへの変換において正確性の低下が僅かであり、部分データへのシームレスな適応性が確認された。
• UTD、UT Kinect、MSRC-12を含む複数のデータセットで高い性能を維持しており、一般化能力とロバスト性が検証された。