[論文レビュー] Transfer Learning for Human Activity Recognition using Representational Analysis of Neural Networks

Sizhe An, Ganapati Bhat+2 more|arXiv (Cornell University)|Dec 5, 2020

Context-Aware Activity Recognition Systems参考文献 45被引用数 10

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNN）の表現解析を活用して、ユーザー間で転送可能な特徴を同定することにより、人間の活動認識（HAR）のための転移学習フレームワークを提案する。初期の汎用的で一般化可能なCNN層を転送し、深層部のユーザー固有の層のみを微調整することで、学習から再開する場合に比べて最大43%高い精度と66%速い学習速度を達成し、モバイルハードウェア上では68%低いエネルギー消費量を実現した。

ABSTRACT

Human activity recognition (HAR) research has increased in recent years due to its applications in mobile health monitoring, activity recognition, and patient rehabilitation. The typical approach is training a HAR classifier offline with known users and then using the same classifier for new users. However, the accuracy for new users can be low with this approach if their activity patterns are different than those in the training data. At the same time, training from scratch for new users is not feasible for mobile applications due to the high computational cost and training time. To address this issue, we propose a HAR transfer learning framework with two components. First, a representational analysis reveals common features that can transfer across users and user-specific features that need to be customized. Using this insight, we transfer the reusable portion of the offline classifier to new users and fine-tune only the rest. Our experiments with five datasets show up to 43% accuracy improvement and 66% training time reduction when compared to the baseline without using transfer learning. Furthermore, measurements on the Nvidia Jetson Xavier-NX hardware platform reveal that the power and energy consumption decrease by 43% and 68%, respectively, while achieving the same or higher accuracy as training from scratch.

研究の動機と目的

• 個々のユーザー間での活動パターンのばらつきにより、新規ユーザーに対するHARの精度が低くなるという課題に対処すること。
• モバイルおよびウェアラブルデバイス上でHAR分類器を学習する際の高い計算コストとエネルギー消費量を低減すること。
• 事前学習済みCNNのどの部分がユーザー間で転送可能で、どの部分が個人化のための微調整を要するかを特定すること。
• 複数の公開HARデータセットを用いて、実世界のハードウェアにデプロイ可能な形で提案された転移学習アプローチを検証すること。
• 体系的な表現解析を通じて、精度、学習時間、エネルギー効率の面で顕著な改善を実証すること。

提案手法

• 異なるユーザークラスタで学習されたCNN層の特徴表現間の類似性を測定するため、標準化相関分析（CCA）を実施する。
• 初期のCNN層がユーザー間で一般化可能な特徴を学習しているのに対し、深層部はユーザー固有のパターンを捉えていることを特定する。
• 事前学習済み分類器の初期層の重みを新規ユーザーに転送し、深層部の識別的層のみを微調整する。
• ランダムクラスタリングおよびk-meansクラスタリングを用いてユーザークラスタを形成し、5つの公開HARデータセット（w-HAR、UCI-HAR、WISDM、UCI-HAPT、UniMiB）でモデルを学習し、評価の堅牢性を確保する。
• Nvidia Jetson Xavier NXボードにフレームワークを実装し、実世界の電力およびエネルギー消費量を測定する。
• 4ユーザークラスタ（4 UCs）と4つの微調整設定（1層または2層）を用いて、性能のトレードオフを評価する。

Figure 1. Comparison of stretch sensor (O’Brien et al . , 2014 ) data of four users for a single step during walk. There is a significant change in both the range of values and data pattern. The grey dashed lines show different instances of the same activity, while the red line shows a representativ

実験結果

リサーチクエスチョン

• RQ1 事前学習済みCNNのどの層が、HARにおける異なるユーザー間で一般化可能な特徴を含んでいるか？
• RQ2 初期CNN層を転送することで、新規ユーザーの学習時間とエネルギー消費量をどの程度低減できるか？
• RQ3 深層部のみを微調整することで、学習から再開する場合に比べて分類精度にどのような影響があるか？
• RQ4 提案された転移学習アプローチは、モバイルハードウェア上で計算コストとエネルギー消費量を低減しつつ、精度を維持または向上させることができるか？
• RQ5 異なるHARデータセット（ユーザーの活動パターンが異なる）において、転移学習フレームワークの性能はどのように変動するか？

主な発見

• 提案された転移学習アプローチは、学習から再開する場合に比べて最大43%高い精度を達成し、データセット全体で平均14%の向上を示した。
• 深層部のみを微調整することで、学習時間は最大66%短縮された。
• エネルギー消費量は平均で68%低減され、データセット間で47%から68%の範囲で削減が確認され、完全再学習の精度を維持または上回った。
• 電力消費量はデータセットごとに21%から43%低減され、UCI-HARおよびWISDMデータセットで最も高い削減効果が観察された。
• CCAを用いた表現解析により、初期CNN層がユーザー間で一般化可能な特徴を学習しているのを確認した一方で、深層部はユーザー固有の活動パターンを捉えていることが明らかになった。
• Nvidia Jetson Xavier NXでのハードウェア測定により、転移学習フレームワークが低消費電力のモバイルプラットフォームへの効率的なデプロイを可能にすることが確認された。

Figure 2. Overview of the transfer learning approach for HAR