[論文レビュー] TASKED: Transformer-based Adversarial learning for human activity recognition using wearable sensors via Self-KnowledgE Distillation

Sungho Suh, Vítor Fortes Rey+1 more|arXiv (Cornell University)|Sep 14, 2022

Context-Aware Activity Recognition Systems被引用数 4

ひとこと要約

TASKEDは、ウェアラブルセンサーを用いた人体活動認識（HAR）のための、自己知識蒸留を組み込んだ変換器ベースの敵対的学習フレームワークを提案する。MMD正則化を用いてドメイン間の特徴分布を揃えることで、被験者間の一般化性能を向上させるとともに、学習の安定性を向上させる。4つの公開HARデータセットにおいて、F1-macroの指標で先行手法を最大3.89ポイント上回り、最先端の性能を達成した。

ABSTRACT

Wearable sensor-based human activity recognition (HAR) has emerged as a principal research area and is utilized in a variety of applications. Recently, deep learning-based methods have achieved significant improvement in the HAR field with the development of human-computer interaction applications. However, they are limited to operating in a local neighborhood in the process of a standard convolution neural network, and correlations between different sensors on body positions are ignored. In addition, they still face significant challenging problems with performance degradation due to large gaps in the distribution of training and test data, and behavioral differences between subjects. In this work, we propose a novel Transformer-based Adversarial learning framework for human activity recognition using wearable sensors via Self-KnowledgE Distillation (TASKED), that accounts for individual sensor orientations and spatial and temporal features. The proposed method is capable of learning cross-domain embedding feature representations from multiple subjects datasets using adversarial learning and the maximum mean discrepancy (MMD) regularization to align the data distribution over multiple domains. In the proposed method, we adopt the teacher-free self-knowledge distillation to improve the stability of the training procedure and the performance of human activity recognition. Experimental results show that TASKED not only outperforms state-of-the-art methods on the four real-world public HAR datasets (alone or combined) but also improves the subject generalization effectively.

研究の動機と目的

• 異なる被験者間でトレーニングデータとテストデータの分布シフトが生じることによる人体活動認識（HAR）の性能低下を解消すること。
• ウェアラブルセンサー・データにおける長距離の空間的・時間的依存関係を捉えることが難しい、CNN や RNN の限界を克服すること。
• 推論時に被験者ラベルを必要としない条件下で、ドメイン不変の表現を学習することで、未観測の被験者への一般化性能を向上させること。
• 教師なし自己知識蒸留機構を用いて学習の安定性を高め、MMDおよび敵対的損失が引き起こすバイアスを低減すること。
• 特徴抽出、ドメイン整合、個々の行動的変動へのロバスト性を統合的に最適化する包括的フレームワークの構築

提案手法

• ウェアラブルデバイスからのマルチセンサー時系列データの空間的・時間的依存関係をモデル化するため、変換器エンコーダを採用する。
• 被験者識別器を訓練して被験者を区別する一方で、特徴抽出器がそれを欺くように訓練する敵対的学習スキームを導入する。
• すべての被験者ペair間で最大平均差分（MMD）正則化を適用し、ドメイン間の特徴分布を揃えることで、ドメイン一般化性能を向上させる。
• 教師なし自己知識蒸留技術を実装し、MMDおよび敵対的損失に起因するバイアスを低減するとともに、学習の安定性を向上させる。
• 分類用の交差エントロピー損失、ドメイン不変性のための敵対的損失、特徴の一貫性のための蒸留損失を統合した損失関数を用いて、全体のフレームワークをエンドツーエンドで最適化する。
• 相対的位置エンコーディングを備えたマルチヘッドアテンション機構を用い、体に配置されたセンサー間の空間的関係を保持する。

実験結果

リサーチクエスチョン

• RQ1 変換器ベースのアーキテクチャは、ウェアラブルセンサー・データから人体活動認識のための空間的・時間的表現を効果的に学習できるか？
• RQ2 MMD正則化を用いた敵対的学習は、HARにおける被験者間一般化性能をどの程度向上させるか？
• RQ3 自己知識蒸留は、HARのドメイン一般化設定において、学習の安定性と性能をどのように向上させるか？
• RQ4 提案フレームワークは、実世界のHARデータセットにおいて、正確性、F1-macro、F1-weightedの観点で最先端手法を上回るか？
• RQ5 推論時に被験者固有のパターンが利用できない状況でも、モデルは未観測の被験者に対して効果的に一般化できるか？

主な発見

• TASKEDは、4つの公開HARデータセットにおいて、最も性能の高かった最先端手法よりも、正確性で3.08ポイント、F1-weightedで3.89ポイント、F1-macroで3.39ポイント向上した。
• 結合データセットを用いた場合、変換器ベースラインと比較して、正確性で1.71ポイント、F1-macroで2.96ポイントの向上を達成した。
• ベイジアン相関t検定の結果、F1-macroにおいてMETIERより1%以上優れていた確率は70%であり、同等である確率は約30%にとどまった。
• ボックスアンドホイッスラー図から、すべての指標において最小の分散を示し、一貫性があり、ロバストな結果であることが明らかになった。
• 提案手法は未観測の被験者への一般化が効果的であり、トレーニングとテストデータが異なる被騟能者分布から来ても、顕著な性能向上が得られた。
• 自己知識蒸留は、学習の安定性を高め、MMDおよび敵対的正則化に起因する過学習を防ぎ、一般化性能の向上に寄与した。