[論文レビュー] Skeleton Cloud Colorization for Unsupervised 3D Action Representation Learning

Siyuan Yang, Jun Liu+3 more|arXiv (Cornell University)|Aug 4, 2021

Human Pose and Action Recognition参考文献 54被引用数 15

ひとこと要約

本稿では、ラベルなし骨格シーケンスを人工的な時間的・空間的・人物レベルの色ラベルを用いて3次元点群に変換することで、自己教師あり3次元行動表現学習のためのスケルトンクラウド色分けを提案する。本手法は点群オートエンコーダを用いて判別的な空間時間特徴を学習し、NTU RGB+DおよびNW-UCLAデータセットにおいて自己教師ありおよび半教師あり設定で最先端の性能を達成するとともに、教師あり行動認識でも競争力のある結果を示した。

ABSTRACT

Skeleton-based human action recognition has attracted increasing attention in recent years. However, most of the existing works focus on supervised learning which requiring a large number of annotated action sequences that are often expensive to collect. We investigate unsupervised representation learning for skeleton action recognition, and design a novel skeleton cloud colorization technique that is capable of learning skeleton representations from unlabeled skeleton sequence data. Specifically, we represent a skeleton action sequence as a 3D skeleton cloud and colorize each point in the cloud according to its temporal and spatial orders in the original (unannotated) skeleton sequence. Leveraging the colorized skeleton point cloud, we design an auto-encoder framework that can learn spatial-temporal features from the artificial color labels of skeleton joints effectively. We evaluate our skeleton cloud colorization approach with action classifiers trained under different configurations, including unsupervised, semi-supervised and fully-supervised settings. Extensive experiments on NTU RGB+D and NW-UCLA datasets show that the proposed method outperforms existing unsupervised and semi-supervised 3D action recognition methods by large margins, and it achieves competitive performance in supervised 3D action recognition as well.

研究の動機と目的

• 教師あり3次元行動認識における高コストなラベル付けの課題に対処するため、ラベルなし骨格シーケンスからの自己教師あり表現学習を可能にする。
• 既存の自己教師あり手法が再構成に基づく自己教師信号に依存するが、これはしばしば豊かな空間時間的ダイナミクスを捉えるのに失敗するという限界を克服する。
• 手動ラベルが不要な時間的・空間的順序情報の符号化を可能にする、スケルトンクラウド色分けを用いた新しい自己教師信号を設計する。
• 提案された色分けに基づく表現学習が、自己教師あり、半教師あり、完全教師ありの設定すべてに一般化可能であり、優れた性能を示すことを実証する。

提案手法

• すべてのフレームの関節座標をスタックすることで、各3次元骨格シーケンスを3次元スケルトンクラウドとして表現する。
• 時間順序（タイムステップ）、空間順序（関節インデックス）、人物レベルのアイデンティティの3つの異なる色分けスケームを用いて、スケルトンクラウドの各点に色を付ける。
• スケルトンクラウドの色分けバージョン3つをそれぞれ処理する、3本の並列エンコーダ・デコーダブランチを備えた点群ベースのオートエンコーダを訓練する。
• 再構築された点群と色ラベルを自己教師信号として用い、エンコーダを自己教師ありで事前学習する。
• 半教師ありおよび教師あり設定では、限定的なラベル付きデータを用いて線形分類器で事前学習済みエンコーダを微調整する。
• 色分けの比率をバランスさせるために、一部の点（例：50%）を選択的に再色分けすることで、色信号に過剰に適合することなく効果的な特徴学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 スケルトンクラウド色分けは、自己教師あり3次元行動表現学習のための有効な自己教師信号として機能するか？
• RQ2 本手法は、既存の自己教師ありおよび半教師あり3次元行動認識手法と比較して、正確性および一般化性能においてどのように差をつけるか？
• RQ3 時間的・空間的・人物レベルの色分けが、ベースライン手法と比較して特徴学習にどの程度向上効果をもたらすか？
• RQ4 本手法で得られる自己教師あり事前学習済み特徴は、完全教師あり行動認識設定においても競争力のある性能を達成できるか？

主な発見

• 提案されたスケルトンクラウド色分け手法は、NTU RGB+DおよびNW-UCLAデータセットの両方において、最先端の自己教師ありおよび半教師あり3次元行動認識手法を上回った。
• NTU RGB+Dデータセット（クロスサブジェクト設定）では、スケルトンクラウドの50%の点を色分けした場合、自己教師あり学習で71.6%の正確度を達成した。
• 1%のラベル付きデータでの半教師あり学習において、既存の自己教師あり事前学習ベースラインを顕著に上回り、優れた性能を示した。
• 完全教師あり設定でも、提案手法は最先端の教師あり手法と同等の競争力のある性能を達成し、学習済み表現の質の高さを示した。
• アブレーションスタディの結果、時間的・空間的・人物レベルの3つの色分けストリームすべてが性能向上に寄与しており、特に時間的および空間的色分けが顕著に有効であった。
• 色分けの比率にかかわらず本手法は頑健であり、50%の色分け点で性能がピークに達し、信号強度と学習効率の間で良好なトレードオフが実現されていることが示された。