[論文レビュー] Self-supervised Learning for Human Activity Recognition Using 700,000 Person-days of Wearable Data

Hang Yuan, Shing Chan+5 more|arXiv (Cornell University)|Jun 6, 2022

Context-Aware Activity Recognition Systems参考文献 52被引用数 12

ひとこと要約

本論文は、英国バイオバンクのウェアラブル加速度計データから得た70万日分のラベルなしデータを用いて、自己教師あり学習フレームワークを提案する。3つの時系列プロキシタスク（時系列の方向、並べ替え、時間歪み）を同時に最適化することで、多様なデータセット、機器、集団にわたる汎用性の高い表現を学習し、強力なベースライン比で中央値F1スコアを18.4%（最大100%）向上させた。特にデータが少ない状況下で顕著な向上を示した。

ABSTRACT

Advances in deep learning for human activity recognition have been relatively limited due to the lack of large labelled datasets. In this study, we leverage self-supervised learning techniques on the UK-Biobank activity tracker dataset--the largest of its kind to date--containing more than 700,000 person-days of unlabelled wearable sensor data. Our resulting activity recognition model consistently outperformed strong baselines across seven benchmark datasets, with an F1 relative improvement of 2.5%-100% (median 18.4%), the largest improvements occurring in the smaller datasets. In contrast to previous studies, our results generalise across external datasets, devices, and environments. Our open-source model will help researchers and developers to build customisable and generalisable activity classifiers with high performance.

研究の動機と目的

• ラベル付きデータが少なく、収集に費用がかかるため、深層学習のHAR性能が制限されている問題に対処する。
• 大規模な現実世界のラベルなしウェアラブルデータを用いた自己教師あり学習（SSL）が、異なるドメインにわたるHARの汎用性を向上させることを調査する。
• 小規模なラボベースのデータセットではなく、多様で現実的なデータセット（UK Biobank）を用いてSSLを評価し、移行性のより現実的な評価を可能にする。
• 高精度で公開可能なHARモデルを開発し、高価なデータラベリングへの依存を減らす。
• マルチタスクSSLが、人間の運動ダイナミクス、強度、センサ同期性といった意味のある表現を学習できるかを調査する。

提案手法

• 時系列の方向（時系列順序の予測）、並べ替え（センサ軸の再配置）、時間歪み（時系列の歪み）の3つの自己教師ありプロキシタスクを用いて、深層ニューラルネットワークを事前学習する。
• 100,000名の英国バイオバンク参加者から得た、100 Hzで収集された60億件の三軸加速度計データを含む大規模かつ現実世界のデータセットを用いる。
• 各プロキシタスクに特化したヘッドを共有する特徴抽出器を用い、対照的学習の目的関数によりエンドツーエンドで学習する。
• 事前学習中に動きのある期間を優先する動きに配慮した重み付きサンプリング戦略を採用し、表現の質を向上させる。
• 最小限のラベル付きデータで7つの下流HARベンチマークで事前学習モデルを微調整する。
• 解釈可能性のため、層別関連度伝播（LRP）を用い、モデルがプロキシタスク予測時にどの信号セグメントに注目しているかを分析する。

実験結果

リサーチクエスチョン

• RQ1 大規模な現実世界のウェアラブルデータを用いた自己教師あり学習が、多様なデータセットや環境にわたる下流HAR性能を向上させられるか？
• RQ2 時系列プロキシタスク（時系列の方向、並べ替え、時間歪み）を用いたマルチタスクSSLが、人間の運動に向けた表現学習をどのように向上させるか？
• RQ3 英国バイオバンクのラベルなしデータで事前学習することで、小規模なラボデータセットでの教師ありまたは対照的学習に比べて、より良い汎用性が得られるか？
• RQ4 学習された表現が、意味のある運動ダイナミクス、強度、軸間同期性をどの程度捉えているか？
• RQ5 事前学習モデルは、ラベル付きデータが限られた下流タスクでも高い性能を達成できるか？

主な発見

• 自己教師ありモデルは7つのベンチマークデータセット全体で中央値F1スコアを18.4%向上させ、向上幅は2.5%から100%まで変動した。
• 最も大きな向上は、データ量が少ないデータセットで観察され、高いデータ効率性とラベル付きデータへの依存の低減が示された。
• 従来のSSL-HAR研究とは異なり、異なる機器、集団、活動クラス、記録環境に対しても効果的に汎用化された。
• LRPを用いた解釈可能性分析により、モデルは自然な運動パターン（例：テニスでの振り回し、周期的な振動）を、プロキシタスクの関連要因として正しく特定していた。
• 拡張データにおける不自然な運動ダイナミクスに対しては、モデルの注目度が低下しており、分布シフトに対して強い耐性を示していた。
• 微調整前の段階からも、モデルは強力な活動識別能力を示しており、運動ダイナミクスの有効な表現学習が行われていたことが示された。