[論文レビュー] Subspace clustering for action recognition with covariance representations and temporal pruning

Cigdem Beyan|arXiv (Cornell University)|Jan 1, 2021

Human Pose and Action Recognition参考文献 63被引用数 34

ひとこと要約

本論文は、特徴表現として共分散表現を用い、時間的プルーニングを適用することで判別性を向上させるとともに、順序付きデータを効果的に処理する非教師あり部分空間クラスタリングフレームワークを提案する。骨格シーケンスを共分散行列で符号化し、時間的プルーニングを施したスパース部分空間クラスタリングを適用することで、非教師あり手法として最先端の性能を達成し、複数のベンチマークで教師あり手法との差を埋めることに成功した。

ABSTRACT

This paper tackles the problem of human action recognition, defined as classifying which action is displayed in a trimmed sequence, from skeletal data. Albeit state-of-the-art approaches designed for this application are all supervised, in this paper we pursue a more challenging direction: solving the problem with unsupervised learning. To this end, we propose a novel subspace clustering method, which exploits covariance matrix to enhance the action's discriminability and a times-tamp pruning approach that allow us to better handle the temporal dimension of the data. Through a broad experimental validation, we show that our computational pipeline surpasses existing unsupervised approaches but also can result in favorable performances as compared to the supervised methods. The code is available here: https://github.com/IIT-PAVIS/subspace-clustering-action-recognition

研究の動機と目的

• 手動でのアノテーションにかかるコストを回避するため、完全に非教師ありの形で行動認識を実現すること。
• 共分散表現を用いることで、骨格シーケンスにおける部分空間クラスタリングの性能を向上させ、判別性を強化すること。
• 行動シーケンスの時間的複雑性を軽減するため、情報量の少ないタイムスティルをプルーニングすること。
• 非教師あり手法が、教師ありSOTA手法と同等またはそれを上回る性能を達成できることを示すこと。

提案手法

• 骨格関節の軌道から共分散行列を計算し、2階統計量を符号化することで特徴の判別性を向上させる。
• スパース部分空間クラスタリング（SSC）を用いて時間的プルーニングを実施し、代表的なタイムスティルを選択することで、シーケンス長を固定された期間に短縮する。
• 自己表現モデルと時間的ラプラシアン正則化を用いて、共分散符号化と部分空間クラスタリングを統合する。
• 2つの変種を評価した：(1) 時間的SSCはクラスタリングの前にタイムスティルをプルーニングする手法であり、(2) TSCベースの手法は辞書学習と時間的正則化を用いる。
• パイプラインは、行動タイプ、クラス数、収録プロトコルが異なる8つの多様なデータセットで評価された。
• クラスタリング精度を指標として用い、非教師ありベースラインおよび教師ありSOTA手法と比較した。

実験結果

リサーチクエスチョン

• RQ1 共分散表現は、骨格データにおける非教師あり行動認識性能を顕著に向上させることができるか？
• RQ2 部分空間クラスタリングによる時間的プルーニングは、行動シーケンス内のノイズと重複を低減することでクラスタリング精度を向上させるか？
• RQ3 非教師あり部分空間クラスタリングパイプラインは、教師ありSOTA手法と同等またはそれ以上の性能を達成できるか？
• RQ4 異なる時間的プルーニング戦略（割合ベース vs. しきい値ベース）は、多様なデータセットにおいてクラスタリング結果にどのように影響を与えるか？

主な発見

• 提案手法は8つのデータセット全体で平均88.32%のクラスタリング精度を達成し、すべての非教師ありベースラインを上回った。
• MSRCデータセットでは99.00%の精度を達成し、教師ありSOTAの98.50%を上回った。
• SSCを用いた時間的プルーニングにより、データセット全体で最大8%の性能向上が得られ、最大のデータセット（MSRC）では21%の向上が見られた。
• 辞書学習と時間的ラプラシアン正則化を組み合わせたTSCベースの手法が、全体として最高の非教師あり性能を達成し、平均精度89.81%を記録した。
• 8つのデータセットのうち5つにおいて、EnSCベースの手法が他のすべての非教師あり手法を約5%上回った。
• 驚くべきことに、MSRCおよびMSRPにおいて非教師ありパイプラインが教師ありSOTAを上回り、非教師あり学習がHAR分野における大きな可能性を秘めていることを示した。