[論文レビュー] Sparse Semi-Supervised Action Recognition with Active Learning

Jingyuan Li, Eli Shlizerman|arXiv (Cornell University)|Dec 3, 2020

Human Pose and Action Recognition参考文献 39被引用数 13

ひとこと要約

本稿では、自己符号化RNNを用いた教師なし表現学習とアクティブラーニングを組み合わせることで、ラベル付けに最も情報が多いスケルトン系列を選択する、スパースな半教師あり行動認識フレームワークSESARを提案する。符号化器・復元器によるシーケンス再構成と、不確実性およびクラスタベース選択に基づく分類器の共同学習により、NW-UCLA、NTU RGB+D 60、UWA3Dの3つのデータセットで、1%のラベル付きデータのみで最先端の性能を達成する。

ABSTRACT

Current state-of-the-art methods for skeleton-based action recognition are supervised and rely on labels. The reliance is limiting the performance due to the challenges involved in annotation and mislabeled data. Unsupervised methods have been introduced, however, they organize sequences into clusters and still require labels to associate clusters with actions. In this paper, we propose a novel approach for skeleton-based action recognition, called SESAR, that connects these approaches. SESAR leverages the information from both unlabeled data and a handful of sequences actively selected for labeling, combining unsupervised training with sparsely supervised guidance. SESAR is composed of two main components, where the first component learns a latent representation for unlabeled action sequences through an Encoder-Decoder RNN which reconstructs the sequences, and the second component performs active learning to select sequences to be labeled based on cluster and classification uncertainty. When the two components are simultaneously trained on skeleton-based action sequences, they correspond to a robust system for action recognition with only a handful of labeled samples. We evaluate our system on common datasets with multiple sequences and actions, such as NW UCLA, NTU RGB+D 60, and UWA3D. Our results outperform standalone skeleton-based supervised, unsupervised with cluster identification, and active-learning methods for action recognition when applied to sparse labeled samples, as low as 1% of the data.

研究の動機と目的

• 教師ありスケルトンベースの行動認識における高いアノテーションコストとラベル誤りを解消すること。
• 教師なし手法の限界である、クラスタを行動に紐づけるための後処理ラベル付けを回避すること。
• 未ラベルデータを活用し、ラベル付けに最も情報が多いサンプルのみを積極的に選択する半教師ありフレームワークの開発。
• 1%のトレーニングデータしかラベル付けされていないような極めてスパースなラベル設定下での性能向上。
• スケルトン系列のアクティブラーニングパイプラインに、不確実性とクラスタ構造に基づくサンプリング戦略を統合すること。

提案手法

• 生のスケルトンシーケンスの再構成を教師なしで行うために、エンコーダ・デコーダ型のGRUベースRNNを訓練し、分離可能な潜在表現を学習する。
• ラベル付きシーケンスの少数のみを用いて、潜在表現上で1層の分類器を訓練する。
• アクティブラーニングにより、潜在空間における予測の不確実性とクラスタ密度の両方を考慮してラベル付け対象のシーケンスを選択する。
• 2つのアクティブラーニングバリエーションを提案する：SESAR-KJS（不確実性＋類似性）とSESAR-KT（不確実性＋k番目の近隣）で、両方とも潜在表現を用いて選択を行う。
• 符号化器・復元器と分類器を共同で訓練し、再構成損失と分類損失を同時に最適化する。
• フレームワークは、ラベルスパarsity（1%〜50%）を変化させた状況下で、3つのベンチマークデータセット（NW-UCLA、NTU RGB+D 60、UWA3D）で評価される。

実験結果

リサーチクエスチョン

• RQ1 教師なし表現学習とアクティブラーニングを組み合わせることで、スケルトンベースの行動認識におけるラベル付きシーケンスの必要数を著しく削減できるか？
• RQ2 潜在空間におけるクラスタ構造と予測不確実性の統合が、ラベルが極めてスパースな状況下でのアクティブラーニング性能にどのように寄与するか？
• RQ3 1%のデータしかラベル付けされていない状況で、SESARは単独の教師あり・教師なし・アクティブラーニングベースラインを上回るか？
• RQ4 極めてラベルが少ない状況下で、不確実性のみ vs. 不確実性＋類似性といった異なるアクティブラーニング戦略は、どのように比較されるか？
• RQ5 再構成と分類のコンponentを共同で訓練することで、最小限の監視下での一般化性能がどの程度向上するか？

主な発見

• NTU RGB+D 60データセットにおいて1%のラベル付きデータ（400シーケンス）での評価で、SESAR-KJSは38.2%の正確度を達成し、同等条件でのASSL（33.1%）とMS²L（33.1%）を上回った。
• NTUデータセットで5%のラベル付きデータを使用した場合、SESAR-KJSは57.8%の正確度に達し、次善の手法（ASSL：57.3%）を上回った。
• NW-UCLAデータセットで5%のラベル付け率の下で、SESAR-KJSは58.1%の正確度を達成し、最良のベースライン（ASSL：52.6%）を上回った。
• UWA3Dデータセットで10%のラベル付け率の下で、SESAR-KTは58.8%の正確度を達成し、次善の手法（SESAR-CS：55.8%）を上回った。
• ラベル数が増加するにつれて、SESARとベースラインとの性能差が縮小する傾向にあり、これはアクティブラーニングの利点が極めてスパースな状況下で顕著であることを示している。
• 訓練曲線から、SESAR-KTは5%ラベル付け率の下で最初の数エポックで急速に正確度が向上する一方、単独の分類器は平坦に保たれ、一様サンプリングでは収束に多くのエポックを要することが分かった。