[論文レビュー] Pose Refinement Graph Convolutional Network for Skeleton-based Action Recognition

Shijie Li, Jinhui Yi+2 more|arXiv (Cornell University)|Oct 14, 2020

Human Pose and Action Recognition参考文献 54被引用数 5

ひとこと要約

本稿では、ノイズの多い人体ポーズ推定値を精錬し、空間的および運動的特徴を段階的に融合する並列で軽量なアーキテクチャを備えた、極めて効率的なスケルトンベースの行動認識モデル、Pose Refinement Graph Convolutional Network (PR-GCN) を提案する。SOTAのGCNと比較してパラメータを86%-93%、FLOPsを89%-96%削減しながら、KineticsおよびNTU RGB+Dデータセットで競争力ある精度を維持しており、リソース制約のあるロボティクス応用に最適である。

ABSTRACT

With the advances in capturing 2D or 3D skeleton data, skeleton-based action recognition has received an increasing interest over the last years. As skeleton data is commonly represented by graphs, graph convolutional networks have been proposed for this task. While current graph convolutional networks accurately recognize actions, they are too expensive for robotics applications where limited computational resources are available. In this paper, we therefore propose a highly efficient graph convolutional network that addresses the limitations of previous works. This is achieved by a parallel structure that gradually fuses motion and spatial information and by reducing the temporal resolution as early as possible. Furthermore, we explicitly address the issue that human poses can contain errors. To this end, the network first refines the poses before they are further processed to recognize the action. We therefore call the network Pose Refinement Graph Convolutional Network. Compared to other graph convolutional networks, our network requires 86\%-93\% less parameters and reduces the floating point operations by 89%-96% while achieving a comparable accuracy. It therefore provides a much better trade-off between accuracy, memory footprint and processing time, which makes it suitable for robotics applications.

研究の動機と目的

• スケルトンベースの行動認識における従来のグラフ畳み込みネットワーク（GCN）の高い計算コストを軽減し、リソース制限のあるロボティクス分野への適用を可能にすること。
• 2D/3Dスケルトンデータにおけるポーズ推定誤差の影響を明示的に軽減すること。これは、先行研究でしばしば無視されている。
• 空間的および時間的情報を段階的統合メカニズムを用いて融合することで、高い精度を維持しつつ、コンactなアーキテクチャを設計すること。
• 従来のGCNベースの手法と比較して、モデル効率（パラメータ数、FLOPs）と認識精度のトレードオフを優れたものにすること。

提案手法

• ネットワークはまず、空間的および時間的文脈を用いて関節ごとのオフセットを推定するPose Refinement Module（PRM）を適用し、ノイズの多いスケルトンデータを補正する。
• 精錬されたポーズは、2つの並列ブランチを持つGradual Fusion Module（GFM）で処理される：位置・フロー枝（空間的グラフ畳み込み用）と運動・フロー枝（運動特徴の時間的畳み込み用）。
• GFMは時間的に空間的および運動的表現を段階的に統合し、計算コストを低減するために早期に時間解像度を低下させる。
• 時間的集約は1次元畳み込みを用いて実施され、時間的な特徴統合と行動クラス確率の予測が行われる。
• ネットワーク全体は、ポーズ精錬のための追加の教師信号を必要とせず、行動分類損失のみでエンドツーエンドに学習される。
• 深さ方向分離畳み込みと早期時間的低減を用いることで、FLOPsとモデルサイズを著しく削減する。

実験結果

リサーチクエスチョン

• RQ1 スケルトンベースの行動認識において、認識精度を損なわず、大幅に効率化されたグラフ畳み込みネットワークを実現できるか？
• RQ2 ノイズの多い人体ポーズ推定値を明示的に精錬することで、現実世界のシナリオにおける行動認識性能が向上するか？
• RQ3 空間的および運動的特徴の並列的・段階的統合は、順次的統合と比較して精度と効率の両面で優れているか？
• RQ4 提案されたアーキテクチャは、計算リソースが制限されたロボティクスプラットフォームへのデプロイに適しているか？

主な発見

• 2Dポーズを用いたKineticsデータセットでは、PR-GCNはトップ1精度33.7%を達成し、2s-AGCN（36.1%）と同等の性能を示したが、パラメータは7%、GFLOPsは4%にまで削減された。
• 3Dポーズを用いたNTU RGB+Dデータセットでは、X-Subで85.2%、X-Viewで91.7%のトップ1精度を達成し、ST-GCNやGFNetを上回った。パラメータは0.5M、GFLOPsは1.7にとどまった。
• SOTAのGCNと比較して、パラメータ数を86%-93%、浮動小数点演算数を89%-96%削減し、効率-精度トレードオフを顕著に改善した。
• アブレーションスタディの結果、GFMにおける位置と運動特徴の並列統合が不可欠であることが確認され、両特徴を用いた場合、順次統合に比べて精度が2.4%向上した。
• ポーズ精錬モジュールは、データセット全体で平均して1.5%の精度向上をもたらし、最小限の計算オーバーヘッドでポーズ推定誤差の軽減に効果的であることが示された。
• 軽量ベースライン（EleAtt-GRUやGFNet）と比較して、PR-GCNはより少ないパラメータ数と低いFLOPsで高い精度を達成しており、効率-精度バランスにおける優位性を実証した。