[論文レビュー] IIP-Transformer: Intra-Inter-Part Transformer for Skeleton-Based Action Recognition
IIP-Transformer は、骨格ベースの行動認識のための新しい変換器アーキテクチャを提案する。このアーキテクチャは、関節レベル（イントラパーツ）およびボディパーツレベル（インタープーツ）の依存関係を同時にモデル化し、SOTA手法と比較して計算コストを最大36倍まで削減する。パーツレベルのトークナイゼーションと学習可能なクラストークンを用いることで、ノイズの多い関節に対してより効率的かつ頑健な性能を実現し、NTU RGB+D 60/120で最先端の精度を達成する。
Recently, Transformer-based networks have shown great promise on skeleton-based action recognition tasks. The ability to capture global and local dependencies is the key to success while it also brings quadratic computation and memory cost. Another problem is that previous studies mainly focus on the relationships among individual joints, which often suffers from the noisy skeleton joints introduced by the noisy inputs of sensors or inaccurate estimations. To address the above issues, we propose a novel Transformer-based network (IIP-Transformer). Instead of exploiting interactions among individual joints, our IIP-Transformer incorporates body joints and parts interactions simultaneously and thus can capture both joint-level (intra-part) and part-level (inter-part) dependencies efficiently and effectively. From the data aspect, we introduce a part-level skeleton data encoding that significantly reduces the computational complexity and is more robust to joint-level skeleton noise. Besides, a new part-level data augmentation is proposed to improve the performance of the model. On two large-scale datasets, NTU-RGB+D 60 and NTU RGB+D 120, the proposed IIP-Transformer achieves the-state-of-art performance with more than 8x less computational complexity than DSTA-Net, which is the SOTA Transformer-based method.
研究の動機と目的
- 変換器ベースの骨格行動認識における高い計算コストとノイズの多い関節への感受性を解決すること。
- 関節レベル（インフラパーツ）およびボディパーツレベル（インタープーツ）の両方の相互作用を同時にモデル化することで、モデルの頑健性を向上させること。
- パーツレベルのトークナイゼーションと空間時系列分離を用いることで、変換器アーキテクチャにおける計算複雑度を低減すること。
- 新規なパーツレベルのデータ拡張戦略（Part-Mask）を用いて一般化性能を向上させ、特定のパーツへの依存を軽減すること。
- 従来の手法と比較して、顕著に低いFLOPsとモデルサイズで最先端の性能を達成すること。
提案手法
- 計算コストの増加なしにインフラパーツおよびインタープーツの依存関係を統合的にモデル化する新しいインフラパーツ・インタープーツ自己注意メカニズムを導入する。
- 関節をボディパーツ（例：四肢、胴体）にグループ化することで、パーツレベルの骨格符号化を実現し、シーケンス長と自己注意の複雑度を v²/p² で低減する。
- グローバル平均プーリングの代わりに、BERTにインspiredした学習可能なクラストークンを用いて特徴を集約し、表現学習を向上させる。
- 空間的および時間的モデリングを分離した統合的空間時系列変換器を設計し、モデルサイズを削減するとともに一般化性能を向上させる。
- 訓練中に全パーツをランダムにマスクする Part-Mask データ拡張戦略を導入し、特定のパーツへの依存を軽減する。
- 公平なSOTA手法との比較を実現するため、関節、ボーン、関節運動、ボーン運動の4モodalを用いたマルチストリーム統合を採用する。
実験結果
リサーチクエスチョン
- RQ1統合された変換器アーキテクチャでインフラパーツおよびインタープーツの依存関係を同時にモデル化することで、行動認識の精度が向上するか？
- RQ2パーツレベルのトークナイゼーションは、計算複雑度を低減させつつ、ノイズの多い骨格関節に対する頑健性を維持または向上させられるか？
- RQ3Part-Mask のようなパーツレベルのデータ拡張戦略は、モデルの一般化性能を向上させ、特定のパーツへの過剰な依存を軽減できるか？
- RQ4提案された IIP-Transformer は、大規模な骨格データセットにおいて、既存のSOTA手法と比較して精度と効率の両面で優れているか？
- RQ5変換器アーキテクチャにおける空間時系列分離は、性能を損なうことなくFLOPsをどの程度削減できるか？
主な発見
- NTU RGB+D 60 (X-Sub) において、IIP-Transformer は92.3%のトップ-1精度を達成し、以前のSOTA手法であるDSTAを0.8%上回った。
- NTU RGB+D 120 (X-Set) では、89.7%の精度を達成し、DSTAを0.7%上回った。
- DSTA-Netと比較して、FLOPsを36倍削減し、7.2G FLOPs（DSTA-Netの259.4G）にまで低減したが、パラメータ数はほぼ同等を維持した。
- Part-Mask データ拡張は、ベースラインと比較してX-Subで1.3%の精度向上を達成し、ガウスノイズやジョイントマスクといったジョイントレベルの拡張戦略を上回った。
- アブレーションスタディの結果、パーツレベルの符号化により計算コストが v²/p² で低減することが確認され、空間時系列変換器の設計によりモデルサイズが削減され、一般化性能が向上した。
- 関節、ボーン、関節運動、ボーン運動の4モダリティを用いたマルチストリーム統合は、すべてのベンチマークで一貫した性能向上をもたらした。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。