[論文レビュー] Space-Time Domain Tensor Neural Networks: An Application on Human Pose Recognition.

Konstantinos Makantasis, Athanasios Voulodimos+3 more|arXiv (Cornell University)|Apr 17, 2020

Human Pose and Action Recognition被引用数 2

ひとこと要約

本稿では、3次元スケルトンデータを用いた人体ポーズ認識のための、空間時間ドメインテンソルニューラルネットワークを提案する。本手法は、空間時間的特徴抽出のための新規な入力層、コンactな表現学習のためのテンソルファージョン、およびテンソル形式でのエンドツーエンド学習を活用している。モデルは極めて少ないパラメータで最先端の性能を達成しており、データが限られる状況でも有効である。

ABSTRACT

Recent advances in sensing technologies require the design and development of pattern recognition models capable of processing spatiotemporal data efficiently. In this work, we propose a spatially and temporally aware tensor-based neural network for human pose recognition using three-dimensional skeleton data. Our model employs three novel components. First, an input layer capable of constructing highly discriminative spatiotemporal features. Second, a tensor fusion operation that produces compact yet rich representations of the data, and third, a tensor-based neural network that processes data representations in their original tensor form. Our model is end-to-end trainable and characterized by a small number of trainable parameters making it suitable for problems where the annotated data is limited. Experimental validation of the proposed model indicates that it can achieve state-of-the-art performance. Although in this study, we consider the problem of human pose recognition, our methodology is general enough to be applied to any pattern recognition problem spatiotemporal data from sensor networks.

研究の動機と目的

• 3次元スケルトンシーケンスからの空間時間的データを効率的に処理する人体ポーズ認識の課題に対処すること。
• 空間時間的データの固有のテンソル構造を処理の全過程で保持するニューラルネットワークアーキテクチャを設計すること。
• 低データ環境での性能向上を図るために、モデルの複雑さとパラメータ数を低減すること。
• テンソルファージョンを通じて高い表現能力を維持しつつ、エンドツーエンドで学習可能な構造を実現すること。
• センサーネットワークからの他の空間時間的パターン認識タスクへも適用可能な汎用的なフレームワークを開発すること。

提案手法

• モデルは、3次元スケルトンシーケンスから直接、高 discriminative（識別的）な空間時間的特徴を構築する専用の入力層を用いる。
• テンソルファージョン操作により、マルチモーダルまたはマルチスケールのテンソル表現を、コンactかつ豊富な低ランク表現に統合する。
• コアネットワークは、ベクトル化を回避し、空間的および時間的構造を保持するため、元のテンソル形式でデータを処理する。
• アーキテクチャはエンドツーエンドで学習可能であり、特徴学習と表現統合の共同最適化を可能にする。
• 低ランクテンソル分解と構造化されたパラメータ共有を活用することで、少数の学習可能なパラメータを実現する。
• 本フレームワークは、人体ポーズ認識を越えた、センサーネットワークからの他の空間時間的データに対しても拡張可能に設計されている。

実験結果

リサーチクエスチョン

• RQ1 テンソルベースのニューラルネットワークアーキテクチャは、人体ポーズ認識のための3次元スケルトンシーケンスにおける空間的および時間的依存性を効果的に捉えることができるか？
• RQ2 従来の特徴連結と比較して、提案されたテンソルファージョン機構は、表現のコンパクト性と識別性をどのように向上させるか？
• RQ3 ネットワーク全体でテンソル構造を保持することで、パラメータ数をどれほど削減できるか、同時に精度を維持または向上させられるか？
• RQ4 パrameter効率性のおかげで、低データ環境においてもモデルの汎化性能が優れていると言えるか？
• RQ5 提案された手法は、センサーネットワークからの他の空間時間的パターン認識タスクへも拡張可能か？

主な発見

• 提案モデルは、3次元スケルトンデータを用いた人体ポーズ認識ベンチマークで最先端の性能を達成した。
• 少数の学習可能なパラメータで強力な汎化能力を示し、アノテーションデータが限られる環境に適している。
• テンソルファージョン操作は、複雑な空間時間的パターンを効果的に捉えつつ、コンパクトな表現を維持した。
• テンソル形式でのエンドツーエンド学習は、ベクトル化アプローチと比較して構造的情報を保持し、学習効率を向上させた。
• アーキテクチャは汎用的であり、センサーネットワークからの他の空間時間的パターン認識タスクへも適用可能である。
• 標準的な人体ポーズ認識データセットにおいて、精度とパrameter効率の両面で、既存手法を上回った。