[論文レビュー] Assessing the State of Self-Supervised Human Activity Recognition using Wearables

Harish Haresamudram, Irfan Essa+1 more|arXiv (Cornell University)|Feb 22, 2022

Context-Aware Activity Recognition Systems被引用数 5

ひとこと要約

本論文は、ウェアラブルベースの人体活動認識（HAR）における自己教師あり学習（SSL）手法を評価する包括的なフレームワークを導入し、ドメインシフト、データセット特性、学習済み特徴空間の性質の面で性能を評価する。9つのベンチマークデータセットを用いた50,000件以上の実験を通じて、SSL手法がクラス不均衡やデータ不足に対して非常に頑健であることが判明。特に、マスクされた再構成とマルチタスク自己教師あり学習が、優れた一般化性能と表現効率を示している。

ABSTRACT

The emergence of self-supervised learning in the field of wearables-based human activity recognition (HAR) has opened up opportunities to tackle the most pressing challenges in the field, namely to exploit unlabeled data to derive reliable recognition systems for scenarios where only small amounts of labeled training samples can be collected. As such, self-supervision, i.e., the paradigm of 'pretrain-then-finetune' has the potential to become a strong alternative to the predominant end-to-end training approaches, let alone hand-crafted features for the classic activity recognition chain. Recently a number of contributions have been made that introduced self-supervised learning into the field of HAR, including, Multi-task self-supervision, Masked Reconstruction, CPC, and SimCLR, to name but a few. With the initial success of these methods, the time has come for a systematic inventory and analysis of the potential self-supervised learning has for the field. This paper provides exactly that. We assess the progress of self-supervised HAR research by introducing a framework that performs a multi-faceted exploration of model performance. We organize the framework into three dimensions, each containing three constituent criteria, such that each dimension captures specific aspects of performance, including the robustness to differing source and target conditions, the influence of dataset characteristics, and the feature space characteristics. We utilize this framework to assess seven state-of-the-art self-supervised methods for HAR, leading to the formulation of insights into the properties of these techniques and to establish their value towards learning representations for diverse scenarios.

研究の動機と目的

• ウェアラブルベースの人体活動認識（HAR）におけるラベル付きデータの限界という、医療分野や実世界の設定で顕著な課題に対処するため。
• 標準的な事前学習・微調整プロトコルを越えて、HARにおける自己教師あり学習（SSL）の現状を体系的に評価するため。
• SSL手法の頑健性、データセットの影響、特徴空間の性質の3つを評価する多面的アセスメントフレームワークを構築するため。
• 多様な実世界の条件やデータ分布において、どのSSL手法が最も一般化性能に優れているかを示す実用的知見を提供するため。
• 今後のウェアラブルを用いた自己教師ありHAR分野の研究を標準化するための評価ベンチマーク（v1.0）を確立するため。

提案手法

• 3次元アセスメントフレームワークを提案：(1) ソース・ターゲットドメインのシフトに対する頑健性、(2) データセット特性（例：クラス不均衡、データ量）の影響、(3) 学習済み特徴空間の分析。
• 「事前学習→微調整」パラダイムを採用：大規模なラベルなしデータ（例：MobiAct）でSSLモデルを事前学習し、その後、最小限のラベル付きデータで下流タスクで微調整。
• 7つの最先端SSL手法（マルチタスク自己教師あり学習、マスク再構成、CPC、SimCLR、オートエンコーダーなど）を、単一加速度計データ上で評価。
• センサ配置、活動種別、参加者数、データサイズにばらつきのある9つの多様なHARベンチマークデータセットを用い、一般化性能をテスト。
• 線形評価、暗黙的次元数推定、教師あり表現との類似性を用いて、特徴空間の性質を分析。
• ドメイン適応の恩恵を評価するため、ソースドメインのデータセット正規化統計（平均・分散）をターゲットドメインに適用。

実験結果

リサーチクエスチョン

• RQ1 ソースとターゲットドメインのセンサ配置、活動種別、サンプリングレートが異なる場合、自己教師ありHAR手法の頑健性はどの程度か？
• RQ2 クラス不均衡やデータ量といったデータセット特性が、自己教師ありHARモデルの性能に及ぼす影響はどの程度か？
• RQ3 自己教師ありモデルが学習した表現は、線形分離性、暗黙的次元数、教師あり表現との類似性の観点から、どのように比較できるか？
• RQ4 どの自己教師あり手法が、多様な下流タスクにわたって最も汎用的かつ転送可能な表現を生成するか？
• RQ5 ソースデータセットの正規化統計（平均・分散）をターゲットドメインに適用することで、性能向上にどの程度の影響があるか？

主な発見

• 自己教師ありHAR手法はドメインシフトに対して強く、センサ位置、活動種別、サンプリングレートが異なる場合でも高い性能を維持している。
• マスク再構成が最も高い暗黙的次元数を達成しており、他の手法と比較して特徴空間の使用効率が優れていることが示唆されている。
• マルチタスク自己教師あり学習は、最も汎用的な特徴を学習しており、多様な下流タスクへの応用が可能である。
• ソースデータセットに極端なクラス不均衡が存在しても性能は安定しており、バランスの取れたデータと比較して劣化が最小限に抑えられている。
• ソースデータセットの正規化統計（平均・分散）をターゲットドメインに適用することで、顕著な性能向上が得られており、ドメイン整合の重要性が浮き彫りになっている。
• SSLエンコーダーの初期層は教師あり表現と高い類似性を示しているが、深層に進むほど類似性が低下し、近い層どうしがより類似している。