[論文レビュー] Action recognition by learning pose representations

Alessia Saggese, Nicola Strisciuglio+2 more|arXiv (Cornell University)|Aug 2, 2017

Human Pose and Action Recognition参考文献 24被引用数 3

ひとこと要約

本論文では、プロトタイプ骨格から空間的関節配置を学習し、骨格データを用いて人間の行動を認識するトレーニング可能なポーズ検出器を提案する。サンプルポーズ上で検出器を自動的に設定し、関節位置スコアによる類似度を測定することで、MSRDAデータセットで64%の認識率を達成し、最先端の手法と同等の有効性を示している。

ABSTRACT

Pose detection is one of the fundamental steps for the recognition of human actions. In this paper we propose a novel trainable detector for recognizing human poses based on the analysis of the skeleton. The main idea is that a skeleton pose can be described by the spatial arrangements of its joints. Starting from this consideration, we propose a trainable pose detector, that can be configured on a prototype skeleton in an automatic configuration process. The result of the configuration is a model of the position of the joints in the concerned skeleton. In the application phase, the joint positions contained in the model are compared with the ones of their homologous joints in the skeleton under test. The similarity of two skeletons is computed as a combination of the position scores achieved by homologous joints. In this paper we describe an action classification method based on the use of the proposed trainable detectors to extract features from the skeletons. We performed experiments on the publicly available MSDRA data set and the achieved results confirm the effectiveness of the proposed approach.

研究の動機と目的

• 手動による特徴工学を伴わず、プロトタイプ骨格ポーズから学習するトレーニング可能なポーズ検出器の開発を目的とする。
• 学習された表現としての関節の空間的配置をモデル化することで、行動認識の性能を向上させることを目的とする。
• トレーニングサンプル上で最適化プロセスを用いることで、ポーズ検出器の自動設定を可能とすることを目的とする。
• データから直接判別性の高い表現を学習することで、手作業による特徴設計への依存を低減することを目的とする。
• 骨格ベースの行動認識における固定特徴検出器の代替として、頑健でトレーニング可能な代替手法を提供することを目的とする。

提案手法

• 本手法は、単一のプロトタイプ骨格ポーズから関節の空間的配置を学習するトレーニング可能な検出器を用いる。
• 検出器は、空間的ずれを許容する同種関節の位置スコアを評価することで、テスト骨格とプロトタイプとの類似度を計算する。
• 2つの骨格間の全体的な類似度は、個々の関節位置スコアの重み付き組み合わせとして計算される。
• 検出器の設定は、プロトタイプポーズの集合上でパラメータを最適化する自動最適化プロセスによって行われる。
• 本手法は、COSFIREフィルタに類似したトレーニング可能な特徴として検出器を扱うが、骨格ベースのポーズ表現に適応されたものである。
• 本手法は、フレームごとにポーズ特徴を抽出し、行動認識に使用する分類パイプラインに統合されている。

実験結果

リサーチクエスチョン

• RQ1 トレーニング可能な検出器は、1つのプロトタイプサンプルから有効な空間的ポーズ表現を学習できるか？
• RQ2 学習されたポーズ検出器の性能は、手作業による特徴や固定特徴手法と比較してどうなるか？
• RQ3 検出器の自動設定によって、専門家が設計した特徴への依存はどの程度低減されるか？
• RQ4 ポーズマッチング時の関節位置のノイズや歪みに対して、本手法はどの程度頑健か？
• RQ5 時間的モデリングと組み合わせた場合、学習されたポーズ表現は、さまざまな行動に一般化しやすいか？

主な発見

• 提案手法は、MSRDAデータセットで64%の認識率を達成し、骨格解析に基づく最先端手法と同等の性能を示した。
• TSD、3DTSD、Eigen Jointsといった既存手法（いずれも58%以下）よりも性能が優れている。
• 最高性能を示したベースライン手法（Joint Position）は68%を達成しており、提案手法は非常に競争力があることが示された。
• 検出器のトレーニング可能な性質により、手作業による特徴工学の必要がなくなり、ドメインエキスパートへの依存が低下した。
• 関節位置比較における許容範囲のおかげで、ノイズや歪みに対して頑健であることが示された。
• 本手法はスケーラブルであり、時間的モデリングや特徴選択を組み合わせることで、効率性と精度を向上させることができる。