[論文レビュー] Self-supervised Wearable-based Activity Recognition by Learning to Forecast Motion

Setareh Rahimi Taghanaki, Ali Etemad|arXiv (Cornell University)|Oct 21, 2020

Context-Aware Activity Recognition Systems参考文献 31被引用数 6

ひとこと要約

本論文では、現在および過去のセンサー入力を用いて将来の加速度信号を予測するように事前学習された畳み込みニューラルネットワークを用いて、ウェアラブル機器ベースの人体活動認識のための自己教師あり学習手法を提案する。その後、ラベル付きデータを用いて微調整を行う。この手法は、UCI HARおよびMotionSenseデータセットにおいて、既存の教師ありおよび自己教師あり手法を上回る最先端の性能を達成する。

ABSTRACT

We propose the use of self-supervised learning for human activity recognition. Our proposed solution consists of two steps. First, the representations of unlabeled input signals are learned by training a deep convolutional neural network to predict the values of accelerometer signals in future time-steps. Then, we freeze the convolution blocks of this network and transfer the weights to our next network aimed at human activity recognition. For this task, we add a number of fully connected layers to the end of the frozen network and train the added layers with labeled accelerometer signals to learn to classify human activities. We evaluate the performance of our method on two publicly available human activity datasets: UCI HAR and MotionSense. The results show that our self-supervised approach outperforms the existing supervised and self-supervised methods to set new state-of-the-art values.

研究の動機と目的

• 自己教師あり事前学習を用いて、ウェアラブル加速度計データからの人体活動認識を向上させること。
• ラベルなしシーケンスを活用して表現学習を行うことで、ラベル付き学習データへの依存度を低減すること。
• 将来の運動信号を予測することが、活動認識に有効で転送可能な特徴をもたらすかどうかを検証すること。
• 標準的なウェアラブル活動認識データセットにおいて、新しい最先端の性能を確立すること。

提案手法

• 深層畳み込みニューラルネットワークを、現在および過去のセンサー入力から将来の加速度値を予測する自己教師ありの方法で学習する。
• ネットワークは、生のラベルなし加速度シーケンスから意味のある表現を学ぶために、時間的予測をプロキシタスクとして用いる。
• 事前学習後、畳み込み特徴抽出器は固定され、新しい分類ヘッドに転送される。
• 最終的な分類ネットワークは、上部に追加された全結合層のみを微調整することで、ラベル付きデータを用いて学習される。
• 事前学習モデルからの特徴転送により、下流の活動認識タスクにおける性能が向上する。
• このアプローチは、標準的な評価プロトコルを用いて、2つの公開データセット（UCI HARおよびMotionSense）で評価される。

実験結果

リサーチクエスチョン

• RQ1 将来の運動予測に基づく自己教師あり学習が、ウェアラブルベースの活動認識のための特徴表現を向上させられるか？
• RQ2 この予測ベースの事前学習の性能は、既存の教師ありおよび自己教師あり手法と比べてどのように異なるか？
• RQ3 ラベルなしデータから学習した表現が、下流の活動分類タスクにどの程度一般化できるか？
• RQ4 提案手法は、標準的なベンチマークデータセットで最先端の結果を達成できるか？

主な発見

• 提案された自己教師あり手法は、UCI HARデータセットで、既存の教師ありおよび自己教師ありアプローチを上回る最先端の性能を達成した。
• MotionSenseデータセットでは、新しい最先端の正確度を達成し、異なるウェアラブルセンサー構成にわたる強力な一般化性能を示した。
• 運動予測をプロキシタスクとして用いることで、活動認識に役立つ時間的ダイナミクスが効果的に捉えられた。
• 事前学習モデルからの転移学習により、ラベル付きデータが限られた状況でも分類性能が顕著に向上した。
• 結果から、ラベルなしシーケンスに対する自己教師あり事前学習が、手動アノテーションを必要とせずに競争力のある表現を生成できることを確認した。