[論文レビュー] ColloSSL: Collaborative Self-Supervised Learning for Human Activity Recognition

Yash Jain, Chi Ian Tang+3 more|arXiv (Cornell University)|Feb 1, 2022

Context-Aware Activity Recognition Systems被引用数 5

ひとこと要約

ColloSSL は、複数の同期されたウェアラブルデバイスからのラベルなしインertialセンサデータを活用して、頑健な人間活動認識（HAR）の表現を学習する共同自己教師あり学習フレームワークを提案する。異なるデバイスからのデータを自然な変換とみなすことにより、デバイス選択、対照的サンプリング、マルチビュー対照的損失を用いて教師信号を生成し、最先端のベースラインと比較して最高で7.9%高いF₁スコアを達成するとともに、ラベル付きデータの10%のみを用いた完全教師ありモデルを上回る。

ABSTRACT

A major bottleneck in training robust Human-Activity Recognition models (HAR) is the need for large-scale labeled sensor datasets. Because labeling large amounts of sensor data is an expensive task, unsupervised and semi-supervised learning techniques have emerged that can learn good features from the data without requiring any labels. In this paper, we extend this line of research and present a novel technique called Collaborative Self-Supervised Learning (ColloSSL) which leverages unlabeled data collected from multiple devices worn by a user to learn high-quality features of the data. A key insight that underpins the design of ColloSSL is that unlabeled sensor datasets simultaneously captured by multiple devices can be viewed as natural transformations of each other, and leveraged to generate a supervisory signal for representation learning. We present three technical innovations to extend conventional self-supervised learning algorithms to a multi-device setting: a Device Selection approach which selects positive and negative devices to enable contrastive learning, a Contrastive Sampling algorithm which samples positive and negative examples in a multi-device setting, and a loss function called Multi-view Contrastive Loss which extends standard contrastive loss to a multi-device setting. Our experimental results on three multi-device datasets show that ColloSSL outperforms both fully-supervised and semi-supervised learning techniques in majority of the experiment settings, resulting in an absolute increase of upto 7.9% in F_1 score compared to the best performing baselines. We also show that ColloSSL outperforms the fully-supervised methods in a low-data regime, by just using one-tenth of the available labeled data in the best case.

研究の動機と目的

• 人間活動認識（HAR）のためのスケーラブルで高コストな大規模ラベル付きインエラシャルセンサデータの収集の制限を克服すること。
• 複数の同期されたウェアラブルデバイスからのラベルなしデータが、表現学習のための有効な教師信号を生成できるかどうかを検討すること。
• HARにおけるマルチデバイス・タイムスケジュール同期センサデータに特化した、新しい対照的学習フレームワークの開発。
• 特に低データ環境下での一般化性能とデータ効率の向上。

提案手法

• センサの近接性と運動の類似性に基づいて、正例・負例デバイスを特定するデバイス選択戦略を導入。
• 複数のデバイスから正例・負例のビューをサンプリングし、対照的学習バッチを構築するための対照的サンプリングアルゴリズムを提案。
• 標準的な対照的損失を複数デバイスのビューを扱えるように拡張したマルチビュー対照的損失関数を設計。
• 各デバイスからの特徴を符号化し、対照的最適化によって統合するためのシアンプル型ニューラルネットワークアーキテクチャを採用。
• スマートフォンやスマートウォッチなどのIMU搭載デバイスからのタイムスケジュール同期データを、同じアクティビティの自然な変換として扱う。
• 対照的学習の前段階で、個々のデバイスストリームに標準的なデータ拡張（例：マスキング、回転）を適用。

実験結果

リサーチクエスチョン

• RQ1 複数の同期されたウェアラブルデバイスからのラベルなしデータを用いて、HARにおける自己教師あり学習のための意味のある教師信号を生成できるか？
• RQ2 ColloSSL の性能は、F₁スコアおよびデータ効率の観点から、完全教師ありおよび半教師ありベースラインと比較してどうなるか？
• RQ3 ColloSSL は、モデルの解釈性と一般化性能を向上させる、分離可能で意味的意味のある表現を学習できるか？
• RQ4 特にラベル付きデータの一部しか利用できない状況下で、モデルの性能はどの程度か？

主な発見

• ColloSSL は、3つのマルチデバイスHARデータセットにおいて、最も性能の良いベースラインと比較して、最高で7.9%のF₁スコアの絶対的向上を達成した。
• ラベル付きデータの10%のみを用いた場合に、完全教師ありモデルを上回った。これは、強力なデータ効率性を示している。
• 類似するセンサ信号に注目するサリエンシーマップの可視化により、モデルがよく分離された意味的意味のある特徴を学習していることが確認された。
• 異なるセンサモダリティおよびデバイスタイプにわたり、良好な汎化性能を示した。これは、インエラシャルセンシングを超えた応用可能性を示唆している。