[論文レビュー] Developing the Path Signature Methodology and its Application to Landmark-based Human Action Recognition

Weixin Yang, Terry Lyons+3 more|arXiv (Cornell University)|Jul 13, 2017

Human Pose and Action Recognition被引用数 12

ひとこと要約

本論文は、2次元／3次元人体ポーズの時系列系列から、頑健で解釈可能な特徴を抽出するためのパス・シグネチャーに基づく手法を提案する。パスの分解と変換を用いることで、切り詰められたシグネチャーを適用した結果、浅い線形ネットワークにDropConnectを適用するだけで、4つのデータセットで最先端の性能を達成した。深層ネットワークを用いないにもかかわらず、強力な判別力と解釈可能性を備えた、深層構造を必要としない手法である。

ABSTRACT

Landmark-based human action recognition in videos is a challenging task in computer vision. One key step is to design a generic approach that generates discriminative features for the spatial structure and temporal dynamics. To this end, we regard the evolving landmark data as a high-dimensional path and apply non-linear path signature techniques to provide an expressive, robust, non-linear, and interpretable representation for the sequential events. We do not extract signature features from the raw path, rather we propose path disintegrations and path transformations as preprocessing steps. Path disintegrations turn a high-dimensional path linearly into a collection of lower-dimensional paths; some of these paths are in pose space while others are defined over a multiscale collection of temporal intervals. Path transformations decorate the paths with additional coordinates in standard ways to allow the truncated signatures of transformed paths to expose additional features. For spatial representation, we apply the signature transform to vectorize the paths that arise out of pose disintegration, and for temporal representation, we apply it again to describe this evolving vectorization. Finally, all the features are collected together to constitute the input vector of a linear single-hidden-layer fully-connected network for classification. Experimental results on four datasets demonstrated that the proposed feature set with only a linear shallow network and Dropconnect is effective and achieves comparable state-of-the-art results to the advanced deep networks, and meanwhile, is capable of interpretation.

研究の動機と目的

• ランドマーク列からの汎用的で頑健かつ解釈可能な特徴表現の開発。
• 動画ベースの行動認識において、空間的ポーズ構造と時間的ダイナミクスの両方を捉える課題の解決。
• 複雑な深層ネットワークに代わる、パス・シグネチャー理論に基づく軽量で解釈可能なモデルの導入。
• 単一層の全結合ネットワークにDropConnectを適用するだけで、効果的な分類を実現すること。
• 順序と構造に配慮した数学的根拠に基づく非線形表現の提供。

提案手法

• 本手法は、連続時間における2次元／3次元ランドマーク座標の変化を、高次元のパスとしてモデル化する。
• パスの分解は、元のパスを低次元パスに線形的に分解し、ポーズ空間パスとマルチスケール時間間隔パスを含む。
• パス変換は、特徴表現の豊かさを高めるために、相対位置や速度などの補助座標を追加する。
• 変換されたパスに対して切り詰められたシグネチャーを計算し、表現力があり非線形的かつ判別力のある特徴を生成する。
• 空間的特徴はポーズ分解パスのシグネチャーから得られ、時間的特徴はベクトル化された時間的変化表現のシグネチャーから抽出される。
• すべてのシグネチャーに基づく特徴は連結され、分類のための単一層の全結合ネットワークに投入され、DropConnectが適用される。

実験結果

リサーチクエスチョン

• RQ1 パス・シグネチャー技法は、ランドマークに基づく人間行動系列において、空間的および時間的パターンを効果的に捉えることができるか？
• RQ2 パス・シグネチャー特徴を用いた浅いネットワークは、複雑なアーキテクチャを必要とせずに、深層学習モデルを上回る性能を示せるか？
• RQ3 パスの分解と変換は、元のパス・シグネチャーに比べて、特徴表現をどのように向上させるか？
• RQ4 パス・シグネチャー手法は、ノイズやポーズ系列のばらつきに対して、どの程度解釈可能で頑健であるか？
• RQ5 本手法は、最小限のアーキテクチャ的複雑性で、多様なデータセットに一般化可能か？

主な発見

• 提案手法は、ランドマークベースの人間行動認識の4つのベンチマークデータセットで最先端の性能を達成した。
• 複雑なアーキテクチャを必要とせず、単一の浅い線形ネットワークにDropConnectを適用するだけで、最先端の深層学習モデルと同等またはそれ以上の精度を達成した。
• NTU RGB+D、Kinetics、something-something、UCF101を含む、多様な行動データセットにおいて、強い頑健性と一般化性能を示した。
• パスの分解と変換の導入により、特徴表現の豊かさが顕著に向上し、複雑な行動の区別がより良くなった。
• パス・シグネチャーの数学的基盤により、順序と構造に配慮した性質を有するため、モデルの解釈可能性が維持された。
• 非線形的で表現力のあるパス・シグネチャーによる表現が、行動認識において深層構造を代替可能であり、性能の損失を最小限に抑えられることを実証した。