[論文レビュー] Make Skeleton-based Action Recognition Model Smaller, Faster and Better

Fan Yang, Sakriani Sakti+2 more|arXiv (Cornell University)|Jul 23, 2019

Human Pose and Action Recognition参考文献 38被引用数 28

ひとこと要約

本稿では、0.15百万パラメータでしかなく、1枚のGPUで最大3,500 FPSを達成する軽量なスケルトンベースの行動認識モデルDD-Netを提案する。局所的関節関係と運動ダイナミクスを効率的に捉えるために、位置・視点不変の関節集団距離（JCD）特徴と2スケールのグローバル運動特徴を組み合わせ、1次元CNNバックボーンを用いる。このアプローチにより、SHRECおよびJHMDBデータセットにおいて優れた速度、小型化、高精度を実現した。

ABSTRACT

Although skeleton-based action recognition has achieved great success in recent years, most of the existing methods may suffer from a large model size and slow execution speed. To alleviate this issue, we analyze skeleton sequence properties to propose a Double-feature Double-motion Network (DD-Net) for skeleton-based action recognition. By using a lightweight network structure (i.e., 0.15 million parameters), DD-Net can reach a super fast speed, as 3,500 FPS on one GPU, or, 2,000 FPS on one CPU. By employing robust features, DD-Net achieves the state-of-the-art performance on our experimental datasets: SHREC (i.e., hand actions) and JHMDB (i.e., body actions). Our code will be released with this paper later.

研究の動機と目的

• 既存のスケルトンベースの行動認識モデルにおける高い計算コストと大きなモデルサイズを解消すること。
• 特にリアルタイムおよびエッジデバイス向けに、認識精度を損なわずモデル効率を向上させること。
• 位置および視点に依存しない統一された特徴表現を構築し、グローバルな運動ダイナミクスを捉えること。
• CPUおよびGPU上で高速な推論を可能にする軽量なネットワークアーキテクチャを設計すること。
• 運動スケールや軌道依存性の異なる多様な行動タイプ（手のジェスチャーとボディアクションを含む）に一般化できることを示すこと。

提案手法

• 関節グループ間のペアワイズユークリッド距離を計算する関節集団距離（JCD）特徴を導入し、冗長性を低減するとともに、位置・視点不変性を保証するために下三角行列のみを用いる。
• 異なる時間スケールでの運動を捉える2スケールのグローバル運動特徴を提案し、運動スケールの変動に強い耐性を向上させる。
• 可変なフィルタ数を備えた1次元CNNベースのバックボーンを用いることで、モデルサイズと推論速度を制御し、低リソースデバイスへのデプロイを可能にする。
• 事前に定義された関節インデックスに依存しないように、埋め込み機構を用いて関節相関を自動で学習する。
• RNNを避けることで並列計算を可能にし、高速な推論を実現するため、1次元畳み込みを優先する。
• 2次元および3次元スケルトンを用いて、SHREC（手のジェスチャー）およびJHMDB（ボディアクション）データセットでモデルを訓練および評価する。

実験結果

リサーチクエスチョン

• RQ1 スケルトンベースの行動認識モデルは、少数のパラメータと高い推論速度を維持しながら、最先端の精度を達成できるか？
• RQ2 位置・視点不変特徴（JCD）は、グローバルな運動コンテキストなしに局所的なスケルトン関係をどれほど効果的に捉えられるか？
• RQ3 2スケールのグローバル運動特徴は、多様な行動タイプにおける運動スケールの変動にどれほど耐性を向上させるか？
• RQ4 1次元CNNベースの軽量アーキテクチャは、RNNおよび2次元/3次元CNNベースのモデルと比較して、速度と精度の両面で優位性を示せるか？
• RQ5 提案されたモデルは、軌道依存型と軌道独立型の両方の行動を有する異なる特性のデータセットに対しても一般化できるか？

主な発見

• DD-Netは、1.82百万パラメータでSHRECデータセット（14種類の手のジェスチャー）で94.6％の精度を達成し、精度と効率の両面で先行研究を上回った。
• JHMDBデータセットでは、1.82百万パラメータで77.2％の精度、GPU上での推論速度が2,200 FPSに達し、ボディアクション認識において優れた性能を示した。
• わずか0.15百万パラメータで、SHRECでは91.8％、JHMDBでは65.7％の精度を達成し、顕著な精度の損失なしに高い効率性を実証した。
• 1枚のGPU（GTX 1080Ti）で3,500 FPS、CPU（Intel E5-2620）で2,000 FPSに達し、並列化可能な1次元畳み込みのおかげでRNNベースのモデルを大きく上回った。
• アブレーションスタディの結果、2スケールのグローバル運動特徴は、単一スケールの運動特徴よりも精度を向上させ、特に運動速度が変動する行動に対して顕著な改善効果を示した。
• 混同行列の結果、すべての行動クラスにおいて高いロバスト性を維持しており、強力な一般化性能と低い誤分類率を示した。