[論文レビュー] Relational Network for Skeleton-Based Action Recognition

Zheng Wu, Lin Li+3 more|arXiv (Cornell University)|May 7, 2018

Human Pose and Action Recognition参考文献 17被引用数 14

ひとこと要約

本稿では、骨格に基づく行動認識のための注意メカニズムを備えた再帰的関係ネットワーク-LSTM（ARRN-LSTM）を提案する。2ストリームアーキテクチャを用い、再帰的関係ネットワーク（RRN）で空間的構成をモデル化し、多層LSTMで時間的ダイナミクスをモデル化する。また、特徴的な身体部位に注目するための適応的注意モジュールを導入する。この手法は、NTU RGB+D、Florence 3D、MSRAction3Dのデータセットで最先端の性能を達成し、従来のCNNおよびRNNベースの手法を上回る。

ABSTRACT

With the fast development of effective and low-cost human skeleton capture systems, skeleton-based action recognition has attracted much attention recently. Most existing methods use Convolutional Neural Network (CNN) and Recurrent Neural Network (RNN) to extract spatio-temporal information embedded in the skeleton sequences for action recognition. However, these approaches are limited in the ability of relational modeling in a single skeleton, due to the loss of important structural information when converting the raw skeleton data to adapt to the input format of CNN or RNN. In this paper, we propose an Attentional Recurrent Relational Network-LSTM (ARRN-LSTM) to simultaneously model spatial configurations and temporal dynamics in skeletons for action recognition. We introduce the Recurrent Relational Network to learn the spatial features in a single skeleton, followed by a multi-layer LSTM to learn the temporal features in the skeleton sequences. Between the two modules, we design an adaptive attentional module to focus attention on the most discriminative parts in the single skeleton. To exploit the complementarity from different geometries in the skeleton for sufficient relational modeling, we design a two-stream architecture to learn the structural features among joints and lines simultaneously. Extensive experiments are conducted on several popular skeleton datasets and the results show that the proposed approach achieves better results than most mainstream methods.

研究の動機と目的

• 骨格データの原始的な表現を用いた行動認識において、CNNおよびRNNベースの手法が構造的情報を保持できないという限界を克服すること。
• 関節と線分の関係を効果的にモデル化できる再帰的関係ネットワーク（RRN）を導入することで、単一の骨格フレームにおける空間的特徴の学習を向上させること。
• 骨格から抽出した関係特徴に多層LSTMを統合することで、時間的モデリングを強化すること。
• 関節と線分からの補完的空間表現を2ストリームアーキテクチャで活用すること。
• 行動認識の過程で特徴的な身体部位に注目するための適応的注意メカニズムの有効性を検証すること。

提案手法

• 本手法は2ストリームアーキテクチャを採用する。1つのストリームは関節ベースの骨格グラフを処理し、もう1つのストリームは線分ベースのグラフを処理する。両ストリームとも、1フレーム内の空間的構成をモデル化するために再帰的関係ネットワーク（RRN）を用いる。
• 各ストリームは、連続する骨格フレーム間の時間的ダイナミクスを捉えるために多層LSTMを適用する。
• RRNモジュールとLSTMモジュールの間に適応的注意モジュールを挿入し、各行動に対して最も特徴的な骨格部位を動的に強調する。
• RRNモジュールにより、ノード（関節または線分）間で柔軟かつ反復的なメッセージ伝達が可能となり、グラフ構造データにおける長距離依存関係を効果的に学習できる。
• 2つのストリームの出力を連結し、最終的な分類器に供給して行動認識を実行する。
• 標準的な最適化手法を用いた交差エントロピー損失を用いて、エンドツーエンドでフレームワークを学習する。

実験結果

リサーチクエスチョン

• RQ1 再帰的関係ネットワーク（RRN）は、関節と線分間の構造的関係を保持しながら、単一の骨格フレーム内の空間的構成を効果的にモデル化できるか？
• RQ2 適応的注意メカニズムの統合により、特徴的な身体部位に注目することで、行動認識の性能が向上するか？
• RQ3 関節と線分を別々に処理する2ストリームアーキテクチャは、単一ストリームアプローチと比較して、関係性モデリングをどのように向上させるか？
• RQ4 ARRN-LSTMフレームワークは、標準的な骨格ベースの行動認識ベンチマークで、主流のCNNおよびRNNベースの手法を上回る性能を示せるか？
• RQ5 RRN、LSTM、注意モジュール、二重ストリームの各コンポonentが、全体の性能に果たす寄与度は何か？

主な発見

• NTU RGB+Dデータセットでは、ARRN-LSTMは交差検証精度89.6%、被験者間検証精度81.8%を達成し、ST-GCN（88.3%および81.5%）とVA-LSTM（87.6%および79.4%）を上回った。
• Florence 3Dデータセットでは、ARRN-LSTMは98.52%の精度を達成し、1つの分割でDeep STGCK（99.07%）を上回り、最先端の手法と同等の性能を示した。
• MSRAction3Dデータセットでは、ARRN-LSTMは95.0%の精度を達成し、Lie Group（92.5%）とHBRNN（94.5%）を上回り、ST-NBMIM（95.3%）と同等の性能を示した。
• アブレーションスタディの結果、注意モジュールの導入により精度が2–5ポイント向上し、2つのストリームを組み合わせることで2–3ポイントの向上が確認された。これにより、両者の補完性が裏付けられた。
• RRNによる空間モデリングと多層LSTMによる時間的モデリングを組み合わせた2ストリームアーキテクチャは、ベースラインモデルと比較して6–7ポイントの精度向上を達成し、フレームワークの有効性を裏付けた。