[論文レビュー] Skepxels: Spatio-temporal Image Representation of Human Skeleton Joints for Action Recognition

Jian Liu, Naveed Akhtar+1 more|arXiv (Cornell University)|Nov 16, 2017

Human Pose and Action Recognition参考文献 53被引用数 17

ひとこと要約

本稿では、人間の骨格関節座標系列を柔軟な次元の画像に変換することで、効果的なCNNベースの行動認識を可能にする、Skepxelsと呼ばれる新しい時空間的画像表現を提案する。関節を独自の距離計測法を用いて2次元グリッドに配置し、位置と速度の両方を符号化することで、豊富な時空間的相関を捉える。NTU、NUCLA、UTD-MHADデータセットにおいて、それぞれ4.4%、5.7%、9.3%のSOTA性能向上を達成した。

ABSTRACT

Human skeleton joints are popular for action analysis since they can be easily extracted from videos to discard background noises. However, current skeleton representations do not fully benefit from machine learning with CNNs. We propose "Skepxels" a spatio-temporal representation for skeleton sequences to fully exploit the "local" correlations between joints using the 2D convolution kernels of CNN. We transform skeleton videos into images of flexible dimensions using Skepxels and develop a CNN-based framework for effective human action recognition using the resulting images. Skepxels encode rich spatio-temporal information about the skeleton joints in the frames by maximizing a unique distance metric, defined collaboratively over the distinct joint arrangements used in the skeletal image. Moreover, they are flexible in encoding compound semantic notions such as location and speed of the joints. The proposed action recognition exploits the representation in a hierarchical manner by first capturing the micro-temporal relations between the skeleton joints with the Skepxels and then exploiting their macro-temporal relations by computing the Fourier Temporal Pyramids over the CNN features of the skeletal images. We extend the Inception-ResNet CNN architecture with the proposed method and improve the state-of-the-art accuracy by 4.4% on the large scale NTU human activity dataset. On the medium-sized N-UCLA and UTH-MHAD datasets, our method outperforms the existing results by 5.7% and 9.3% respectively.

研究の動機と目的

• 骨格ベースの行動認識におけるCNNの活用が、希薄で画像に類似しない関節データのため、制限を受ける問題に対処すること。
• 意味論を歪めたりノイズを導入したりする、列方向またはアップサンプリングされた骨格表現の限界を克服すること。
• 複数のフレーム間における骨格関節の時空間的相関を保持する、柔軟で学習可能な画像表現を開発すること。
• CNN特徴を用いて、微小時間的関節関係と巨視的時間的行動パターンの階層的モデリングを可能にすること。
• Skepxelsが、正確な3D骨格データに限らず、実世界のRGB動画の骨格データにも一般化できることを示すこと。

提案手法

• Skepxelsは、関節配置の独自の距離計測法を用いて、複数フレーム分の関節位置を2次元テンソルに整理することで、新たなアトム的視覚単位「スケルトンピクセル」を定義する。
• 本手法は、異なるフレームからのSkepxelを配置することで、任意の次元の骨格画像を構築し、時空間的ダイナミクスを保持する。
• 画像テンソルに連続フレーム間の時間的差分を組み込むことで、関節位置と速度の両方を符号化する。
• フレームワークは階層的CNNパイプラインを採用：まずInception-ResNetがSkepxel画像からの微小時間的特徴を抽出し、次にフーリエ時間的ピラミッドが複数フレーム間の巨視的時間的依存性をモデル化する。
• 本アプローチは複数のCNNアーキテクチャ（Inception-ResNet、GoogLeNet、ResNet）をサポートし、さらに精度向上のためのモデルアンサンブルが可能である。
• ノイズの多い骨格データに対しても頑健であることが示された。DeeperCutで抽出した関節を用いたRGB動画でも、正確な3D骨格データと同等の性能を達成している。

実験結果

リサーチクエスチョン

• RQ1 適切に画像として表現された骨格関節系列のみを用いて、CNNベースの行動認識フレームワークが最先端の性能を達成できるか？
• RQ2 2次元グリッドベースの骨格画像表現は、列方向またはアップサンプリングされた表現と比較して、時空間的相関をどれほど効果的に捉えられるか？
• RQ3 Skepxelsが、1つの画像テンソル内に関節位置や速度といった意味論的要因をどれほど効果的に符号化できるか？
• RQ4 提案された表現は、不完全な骨格抽出を伴う実世界のRGB動画データにも一般化できるか？
• RQ5 Skepxelsを用いた階層的特徴学習（微小時間的および巨視的時間的）は、多様なデータセットにおいて顕著な認識精度の向上をもたらすか？

主な発見

• 提案されたSkepxel表現により、大規模なNTU Human Activity Datasetでは4.4%の認識精度向上が達成され、新たなSOTAを樹立した。
• NUCLAデータセットでは、既存手法より5.7%の精度向上を達成し、優れた一般化性能を示した。
• UTD-MHADデータセットでは、9.3%の精度向上が達成され、中規模でマルチモodalな行動データに対して本表現の有効性が顕著に表れた。
• すべてのデータセットおよびCNNアーキテクチャにおいて、位置と速度の両方（loc+vel）を符号化したSkepxelsは、位置情報のみの符号化よりも一貫して高い性能を示した。
• ノイズの多い骨格データに対しても一般化性能が高く、DeeperCutで抽出した関節を用いたRGB動画でも、UTD-MHADで92.3%の精度を達成し、正確な3D骨格データを用いた結果と同等の性能を示した。
• Skepxelsを用いた複数のCNN（例：Inception-ResNet + ResNet）のアンサンブルにより、さらに性能が向上し、UTD-MHADでは98.6%の精度に到達した。これにより、本アプローチのスケーラビリティと頑健性が裏付けられた。