[論文レビュー] ActionXPose: A Novel 2D Multi-view Pose-based Algorithm for Real-time Human Action Recognition

Federico Angelini, Zeyu Fu+3 more|arXiv (Cornell University)|Oct 29, 2018

Human Pose and Action Recognition参考文献 39被引用数 19

ひとこと要約

ActionXPose は、RGB 動画から抽出された OpenPose による身体のランドマークを活用し、1D CNN と LSTM ネットワークを組み合わせることで分類を行う、リアルタイムで 2D 多視点ポーズベースの人体行動認識アルゴリズムである。i3DPost や KTH のようなポーズレベル HAR データセットにおいて最先端の性能を達成しており、複数のデータセットにわたる一般化性能が高く、視点変化、カメラの動き、被験者との距離の変化に対しても頑健である。

ABSTRACT

We present ActionXPose, a novel 2D pose-based algorithm for posture-level Human Action Recognition (HAR). The proposed approach exploits 2D human poses provided by OpenPose detector from RGB videos. ActionXPose aims to process poses data to be provided to a Long Short-Term Memory Neural Network and to a 1D Convolutional Neural Network, which solve the classification problem. ActionXPose is one of the first algorithms that exploits 2D human poses for HAR. The algorithm has real-time performance and it is robust to camera movings, subject proximity changes, viewpoint changes, subject appearance changes and provide high generalization degree. In fact, extensive simulations show that ActionXPose can be successfully trained using different datasets at once. State-of-the-art performance on popular datasets for posture-related HAR problems (i3DPost, KTH) are provided and results are compared with those obtained by other methods, including the selected ActionXPose baseline. Moreover, we also proposed two novel datasets called MPOSE and ISLD recorded in our Intelligent Sensing Lab, to show ActionXPose generalization performance.

研究の動機と目的

• RGB 動画入力のみを用いて、リアルタイムで動作する新しい 2D 多視点ポーズベースの人体行動認識アルゴリズムの開発。
• 複数のポーズレベルデータセットを統合して訓練可能にすることで、多様なデータセット間での一般化性能の向上。
• 視点の変化、カメラの動き、被験者との距離の変化、外観の変化に対して頑健な性能を達成すること。
• 制約のない録画環境での一般化性能の評価を目的として、2 つの新しいデータセット MPOSE と ISLD を導入すること。
• 最小限の入力データ（14 個の身体ランドマーク）で、標準的なポーズレベル HAR ベンチマークで最先端の性能を示すこと。

提案手法

• RGB 動画フレームから OpenPose を用いて 2D 身体関節座標（14 ランドマーク）を抽出し、入力特徴として利用。
• カメラの動き、ズーム、被験者との距離の変化を補償するため、ポーズ系列の正規化を実行する前処理パイプラインを適用。
• 正規化されたポーズ系列を 1 次元畳み込みニューラルネットワーク（1D-CNN）に通して、空間的・時間的特徴を抽出。
• 1D-CNN の特徴と LSTM ネットワークを組み合わせ、行動系列における長距離の時間的依存性をモデル化。
• MPOSE や ISLD を含む複数のデータセットを統合して学習可能なエンド・ツー・エンドの訓練戦略を採用。
• LSTM が可変長の入力系列を処理できることを活かし、固定長の制約なしに柔軟な時間的モデリングが可能である。

実験結果

リサーチクエスチョン

• RQ1 2D 身体ランドマークのみを入力として用いるポーズベースのアプローチが、RGB 動画からのポーズレベル人体行動認識で最先端の性能を達成できるか。
• RQ2 ActionXPose は、視点や録画条件、行動スタイルが異なる複数のデータセット間で、どの程度一般化できるか。
• RQ3 提案された前処理は、カメラの動き、ズーム、被験者との距離の変化の影響をどの程度軽減できるか。
• RQ4 複数のデータセットを統合して訓練することで、未知のデータに対するモデルの一般化性能と性能が向上するか。
• RQ5 標準的および新たに導入されたデータセットにおいて、ActionXPose はベースライン手法や既存の最先端手法と比較してどの程度の性能を示すか。

主な発見

• ActionXPose は i3DPost および KTH データセットで最先端の性能を達成しており、OpenPose ベースラインや他の既存手法を上回っている。
• MPOSE や ISLD を含む複数のデータセットにわたる一般化性能が高く、視点、カメラの動き、被験者との距離の変化に対して高い頑健性を示している。
• 14 個の身体ランドマーク座標のみを入力としているにもかかわらず、高い精度を達成しており、最小限のポーズデータからの有効な特徴抽出が可能であることが示された。
• MPOSE では 15 から 358 時間ステップの可変長シーケンスを処理できることが確認され、リアルタイムおよびオンライン行動検出に適した柔軟性と適合性を示している。
• MPOSE から ISLD への転移学習では、行動実行スタイルの違いにより性能が低下したが、これはドメイン一般化の向上の余地があることを示唆している。
• ActionXPose はリアルタイムで動作し、性能の主な制限要因は OpenPose ポーズ検出器に起因するが、実世界の監視やインタラクティブアプリケーションへの適用可能性を確認した。