[論文レビュー] SequentialPointNet: A strong parallelized point cloud sequence network for 3D action recognition

Xing Li, Qian Huang+3 more|arXiv (Cornell University)|Nov 16, 2021

Human Pose and Action Recognition参考文献 71被引用数 4

ひとこと要約

SequentialPointNet は、3次元アクション認識のための並列化されたネットワークであり、フレーム内での外観とフレーム間での運動の符号化を分離することで、ポイントクラウドシーケンスの空間時間的ダイナミクスを効率的に捉える。空間時間的局所近傍構築のコストを回避し、時間的位置符号化を用いた階層的プーリングを採用することで、3つの公開データセットで最先端の性能を達成した。

ABSTRACT

Point cloud sequences of 3D human actions exhibit unordered intra-frame spatial information and ordered interframe temporal information. In order to capture the spatiotemporal structures of the point cloud sequences, cross-frame spatio-temporal local neighborhoods around the centroids are usually constructed. However, the computationally expensive construction procedure of spatio-temporal local neighborhoods severely limits the parallelism of models. Moreover, it is unreasonable to treat spatial and temporal information equally in spatio-temporal local learning, because human actions are complicated along the spatial dimensions and simple along the temporal dimension. In this paper, to avoid spatio-temporal local encoding, we propose a strong parallelized point cloud sequence network referred to as SequentialPointNet for 3D action recognition. SequentialPointNet is composed of two serial modules, i.e., an intra-frame appearance encoding module and an inter-frame motion encoding module. For modeling the strong spatial structures of human actions, each point cloud frame is processed in parallel in the intra-frame appearance encoding module and the feature vector of each frame is output to form a feature vector sequence that characterizes static appearance changes along the temporal dimension. For modeling the weak temporal changes of human actions, in the inter-frame motion encoding module, the temporal position encoding and the hierarchical pyramid pooling strategy are implemented on the feature vector sequence. In addition, in order to better explore spatio-temporal content, multiple level features of human movements are aggregated before performing the end-to-end 3D action recognition. Extensive experiments conducted on three public datasets show that SequentialPointNet outperforms stateof-the-art approaches.

研究の動機と目的

• 3次元アクション認識モデルにおける空間時間的局所近傍構築の計算ボトルネックを解消すること。
• 人間の動作に内在する構造的差をよりよく反映するために、空間的外観モデリングと時間的運動モデリングを分離すること。
• 逐次的な近傍計算を回避することで、ポイントクラウドシーケンス処理における強力な並列性を実現すること。
• 階層的プーリングによる多段階の空間時間的特徴の集約によって、3次元アクション認識の精度を向上させること。
• 複雑な局所近傍学習に依存せずに、スケーラブルで効率的なアーキテクチャを構築すること。

提案手法

• フレーム内外観符号化モジュールで、各ポイントクラウドフレームを独立して処理し、並列に静的空間特徴を抽出する。
• 時間経過に伴う外観変化を表すフレームレベルの特徴ベクトルの系列を生成する。
• 時間的位置符号化を特徴ベクトル系列に適用し、時間的順序と相対的タイミングを保持する。
• 階層的ピラミッドプーリング戦略をインターフレーム運動符号化モジュールに適用し、長距離時間的依存性を効率的に捉える。
• ネットワークの異なる段階で得られる多段階特徴を統合し、最終分類の前に空間時間的表現を豊かにする。
• 標準的な交差エントロピー損失を用いて、3次元アクション認識のためのエンドツーエンド学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 空間時間的局所近傍に基づく従来のモデルと比較して、計算コストを削減しつつ、並列化アーキテクチャが3次元アクション認識で優れた性能を発揮できるか？
• RQ2 空間的外観と時間的運動モデリングの分離が、ポイントクラウドシーケンスデータにおける性能向上にどのように寄与するか？
• RQ3 時間的位置符号化と階層的プーリングは、明示的な空間時間的近傍構築をどの程度代替できるか？
• RQ4 多段階特徴集約は、ポイントクラウドシーケンスベンチマークにおける認識精度を向上させるか？
• RQ5 提案手法は、複雑な局所近傍計算に依存せずに最先端の性能を達成できるか？

主な発見

• SequentialPointNet は、空間時間的局所近傍を一切使用せず、3つの公開3次元アクション認識ベンチマークで最先端の性能を達成した。
• 近傍構築の計算コストを回避したことで、強力な並列性を示し、効率的な学習と推論を可能にした。
• 階層的ピラミッドプーリング戦略は、特徴系列における長距離時間的依存性を効果的に捉えた。
• 時間的位置符号化により、時間的順序のモデリングが向上し、認識精度の向上に寄与した。
• 多段階特徴集約により、より強固で判別力のある空間時間的表現が得られた。
• アブレーションスタディの結果、外観と運動モジュールの分離設計が、統合的な空間時間的学習よりも性能を向上させたことが確認された。