[論文レビュー] Logsig-RNN: a novel network for robust and efficient skeleton-based action recognition

Shujian Liao, Terry Lyons+3 more|arXiv (Cornell University)|Oct 25, 2021

Human Pose and Action Recognition参考文献 59被引用数 11

ひとこと要約

本稿では、可変長で非一様な時系列データに対して数学的に堅牢な対数シグネチャー表現と再帰型ネットワークを組み合わせることで、骨格ベースの行動認識を向上させる、新しいニューラルネットワークモジュールであるLogsig-RNNを提案する。対数シグネチャーの数学的堅牢性を活用し、次元削減を図るパス変換層を統合することで、Chalearn2013およびNTU RGB+D 120データセットにおいて最先端の精度を達成するとともに、欠損データに対する耐性が向上し、計算コストが低減された。

ABSTRACT

This paper contributes to the challenge of skeleton-based human action recognition in videos. The key step is to develop a generic network architecture to extract discriminative features for the spatio-temporal skeleton data. In this paper, we propose a novel module, namely Logsig-RNN, which is the combination of the log-signature layer and recurrent type neural networks (RNNs). The former one comes from the mathematically principled technology of signatures and log-signatures as representations for streamed data, which can manage high sample rate streams, non-uniform sampling and time series of variable length. It serves as an enhancement of the recurrent layer, which can be conveniently plugged into neural networks. Besides we propose two path transformation layers to significantly reduce path dimension while retaining the essential information fed into the Logsig-RNN module. Finally, numerical results demonstrate that replacing the RNN module by the Logsig-RNN module in SOTA networks consistently improves the performance on both Chalearn gesture data and NTU RGB+D 120 action data in terms of accuracy and robustness. In particular, we achieve the state-of-the-art accuracy on Chalearn2013 gesture data by combining simple path transformation layers with the Logsig-RNN. Codes are available at https://github.com/steveliao93/GCN_LogsigRNN.

研究の動機と目的

• 可変長かつ非一様にサンプリングされた骨格時系列から、判別的な空間時間的特徴を抽出する課題に対処すること。
• 骨格ベースの行動認識における欠損データに対する耐性を高めるとともに、計算コストを低減すること。
• 既存の最先端（SOTA）ネットワークに大規模なアーキテクチャの見直しを施すことなく、即座に統合可能なプラグアンドプレイ型のニューラルモジュールを開発すること。
• 数学的に整合性のある時系列表現を用いて、ベンチマークデータセットで最先端の性能を示すこと。

提案手法

• 対数シグネチャー層とRNNを組み合わせたLogsig-RNNモジュールを導入し、複雑で高次元の時系列データを効率的に表現する。
• 空間次元を削減しながらも、判別的な関節およびボディパーツの情報を保持するため、埋め込み層およびグラフ畳み込み層（GCN）を含むパス変換層を採用する。
• 時系列データに対数シグネチャー変換を適用することで、次元削減が可能となり、欠損データや不規則なサンプリングに対しても耐性が高まる。
• PyTorchおよびTensorFlowで微分可能な対数シグネチャー計算を実現するため、iisignatureおよびsignatoryパッケージを用いる。バックプロパゲーションスルータイムをサポートする。
• 特徴学習を強化するため、累積層および時刻統合層といった補助層を統合し、2次変動および速度情報の抽出を可能にする。
• 既存のGCNまたはRNNベースの行動認識フレームワークにスムーズに統合可能な、スタック可能でモジュラーなアーキテクチャ（PT-Logsig-RNN）を設計する。

実験結果

リサーチクエスチョン

• RQ1 対数シグネチャー表現は、可変長かつ非一様にサンプリングされた時系列データにおいて、骨格ベースの行動認識の耐障害性と効率性を向上させることができるか？
• RQ2 パス変換層の統合は、Logsig-RNNモジュールの性能および一般化能力にどのように影響を与えるか？
• RQ3 実世界の骨格データセットにおいて、標準的なRNNや最先端（SOTA）モデルと比較して、Logsig-RNNはどれほど精度と耐障害性の面で優れているか？
• RQ4 対数シグネチャー層は、パディングやリサンプリングを必要とせずに、欠損データを効果的に処理できるか？
• RQ5 RNNに供給するタイムステップ数を削減することで、計算コストを低減しつつ、高い性能を維持できるか？

主な発見

• Logsig-RNNモジュールは、Chalearn2013のジェスチャー認識データセットで最先端の精度を達成し、既存のSOTA手法を上回った。
• NTU RGB+D 120データセットでは、標準的なRNNをLogsig-RNNに置き換えることで、一貫して認識精度と耐障害性が向上した。
• 対数シグネチャー表現により、RNNに供給されるタイムステップ数が削減され、トレーニングコストとメモリ使用量が顕著に低減された。
• 本手法は欠損データに対して高い耐障害性を示し、時系列から最大16ポイントを削除した後でも、対数シグネチャー特徴の平均絶対相対誤差が6%未満にとどまった。
• パス変換層、特に埋め込み層とGCNの組み合わせは、本質的な空間時間的情報を保持しつつ、次元削減を効果的に行えた。
• アブレーションスタディの結果、累積層および時刻統合層の両方が、高次統計および運動速度の情報を捉えることで、性能向上に寄与していることが確認された。