[論文レビュー] JOLO-GCN: Mining Joint-Centered Light-Weight Information for Skeleton-Based Action Recognition

Jinmiao Cai, Nianjuan Jiang+3 more|arXiv (Cornell University)|Nov 16, 2020

Human Pose and Action Recognition参考文献 30被引用数 6

ひとこと要約

本論文は、スケルトン系列と関節に整合した光流動パッチ（JFP）を融合することで、局所的な微細な運動の特徴を捉える二ストリームのグラフ畳み込みネットワーク、JOLO-GCNを提案する。各関節の周囲の運動をコン act で力学的に構造化された光流動パッチとして表現することで、NTU RGB+D、NTU RGB+D 120、Kinetics-Skeletonの各データセットで高い認識精度を達成しつつ、計算コストを抑える。

ABSTRACT

Skeleton-based action recognition has attracted research attentions in recent years. One common drawback in currently popular skeleton-based human action recognition methods is that the sparse skeleton information alone is not sufficient to fully characterize human motion. This limitation makes several existing methods incapable of correctly classifying action categories which exhibit only subtle motion differences. In this paper, we propose a novel framework for employing human pose skeleton and joint-centered light-weight information jointly in a two-stream graph convolutional network, namely, JOLO-GCN. Specifically, we use Joint-aligned optical Flow Patches (JFP) to capture the local subtle motion around each joint as the pivotal joint-centered visual information. Compared to the pure skeleton-based baseline, this hybrid scheme effectively boosts performance, while keeping the computational and memory overheads low. Experiments on the NTU RGB+D, NTU RGB+D 120, and the Kinetics-Skeleton dataset demonstrate clear accuracy improvements attained by the proposed method over the state-of-the-art skeleton-based methods.

研究の動機と目的

• スケルトン系列の疎らさが微細な運動（例：頭のふるえや手の小さな動き）を捉えきれないという限界を是正すること。
• 全体的なスケルトンパターンが類似しているが、局所的な運動が異なる行動カテゴリ（例：「指差し」と「セルフィーをとる」）の認識精度を向上させること。
• スケルトンベースのGCNと効率的に融合可能な、スパarsityを保ちながら軽量な視覚的増強手法を開発すること。
• 提案されたJFP表現の一般化可能性と有効性を、複数のGCNバックボーンおよび大規模データセット上で示すこと。

提案手法

• 本手法は、RGB動画フレームから各スケルトン関節を中心に局所的な運動特徴を抽出する「関節に整合した光流動パッチ（JFP）」を導入する。
• JFPは関節座標に一致するバウンディングボックスを用いて関節位置の周囲に切り出し、スケルトンと空間的・時間的に整合させる。
• 各JFPに対してTV-L1法を用いて光流動を計算し、微細な運動ダイナミクスを符号化する。
• JFPシーケンスはスパースな時空間グラフとして表現され、二ストリームGCNアーキテクチャを介してスケルトングラフと融合可能となる。
• 二ストリームネットワークは、スケルトンストリームとJFPストリームを別々にGCNで処理し、特徴を早期または後期に融合することで行動認識を向上させる。
• フレームワークはST-GCNおよび2S-AGCNのバックボーンで評価され、異なるアーキテクチャにおいて一貫した性能向上が確認された。

Figure 1: The motivations of the proposed method. (a) Sample frames in the “shake head” sequence from NTU RGB+D [ 22 ] , where the skeletal joints of the head hardly capture the local subtle movements. (b) Different actions with similar skeleton sequences. Sample frames are taken from “taking a self

実験結果

リサーチクエスチョン

• RQ1 スケルトンのみでは微細な運動差を捉えきれない状況において、関節周辺の局所的視覚的運動特徴がスケルトンベースの行動認識を向上させるか？
• RQ2 他のパッチモダリティ（関節に整合した外観や深度パッチ）と比較して、提案されたJFP表現は認識精度においてどのように優れているか？
• RQ3 スケルトン系列とJFPを統合することで、計算コストおよびメモリ使用量を抑えつつSOTAの性能を達成できるか？
• RQ4 提案手法は、異なるGCNベースのバックボーンおよびデータセットに対してどの程度一般化可能か？

主な発見

• NTU RGB+Dデータセットにおいて、2S-AGCNバックボーンを用いたJOLO-GCNはトップ-1精度94.1%を達成し、前回SOTAを0.5%上回った。
• 同じバックボーンを用いてST-GCNベースラインを1.5%向上（92.3%から93.8%へ）。
• Pブランチ（JFPストリーム）はわずか3.9G FLOPSおよび22msの推論時間しか追加せず、計算オーバーヘッドが最小限であることが示された。
• JAPやJDPと比較して、JFPは補助モダリティとして優れており、2S-AGCNと融合した際の精度は93.83%（JAP：93.6%、JDP：93.5%）を記録した。
• 複数のパッチモダリティ（例：JFP + JDP）を組み合わせても、精度向上はわずかに留まり（94.1% vs. 93.8%）、収益逓減の傾向が確認された。
• 提案手法は良好な一般化性能を示し、NTU RGB+D、NTU RGB+D 120、Kinetics-Skeletonの全3データセットにおいて、ST-GCNおよび2S-AGCNバックボーンをともに向上させた。

Figure 2: The Joint-aligned optical Flow Patches (JFP) estimation from two successive frames with corresponding 2D pose joints. (b) Patches centered around body joints obtained for (a) a successive frame pair are first cropped to form (c) JAP pairs. (d) Residual optical flow is estimated from each J