[論文レビュー] Gated Adaptation for Continual Learning in Human Activity Recognition

Reza Rahimi Azghan, Gautham Krishna Gudur+5 more|arXiv (Cornell University)|Mar 8, 2026

Context-Aware Activity Recognition Systems被引用数 0

ひとこと要約

この論文は、 frozen pretrained backbone に対してチャネルごとのゲート付きモジュレーションを使用し、HAR の連続学習をパラメータ効率良く行うアプローチを提案。忘却を抑制し、訓練可能パラメータが 2% 未満で精度を向上させる。

ABSTRACT

Wearable sensors in Internet of Things (IoT) ecosystems increasingly support applications such as remote health monitoring, elderly care, and smart home automation, all of which rely on robust human activity recognition (HAR). Continual learning systems must balance plasticity (learning new tasks) with stability (retaining prior knowledge), yet AI models often exhibit catastrophic forgetting, where learning new tasks degrades performance on earlier ones. This challenge is especially acute in domain-incremental HAR, where on-device models must adapt to new subjects with distinct movement patterns while maintaining accuracy on prior subjects without transmitting sensitive data to the cloud. We propose a parameter-efficient continual learning framework based on channel-wise gated modulation of frozen pretrained representations. Our key insight is that adaptation should operate through feature selection rather than feature generation: by restricting learned transformations to diagonal scaling of existing features, we preserve the geometry of pretrained representations while enabling subject-specific modulation. We provide a theoretical analysis showing that gating implements a bounded diagonal operator that limits representational drift compared to unconstrained linear transformations. Empirically, freezing the backbone substantially reduces forgetting, and lightweight gates restore lost adaptation capacity, achieving stability and plasticity simultaneously. On PAMAP2 with 8 sequential subjects, our approach reduces forgetting from 39.7% to 16.2% and improves final accuracy from 56.7% to 77.7%, while training less than 2% of parameters. Our method matches or exceeds standard continual learning baselines without replay buffers or task-specific regularization, confirming that structured diagonal operators are effective and efficient under distribution shift.

研究の動機と目的

• エッジデバイス上のドメインインクリメンタル HAR における崩壊的忘却に対処する。
• 最小限の訓練可能パラメータで安定性と柔軟性のトレードオフを達成する。
• ゲート適応下での表現ドリフトの境界を保証する理論的保証を提供する。
• 対象者ごとの分布シフトを伴う複数の HAR ベンチマークで有効性を示す。
• データリプレイなしでオンデバイス連続学習の実用性を強調する。

提案手法

• 事前学習済み HAR バックボーンを凍結し、各バックボーンブロックの後に軽量なチャネル-wise ゲートを追加する。
• グローバルプーリングを介してチャネルディスクリプタを計算し、ボトルネック励起を通してゲート g_l を生成し、U_l に対して対角スケーリング D(g_l) を適用する。
• バックボーンは固定のまま、ゲートパラメータと共有分類器だけを学習する。
• temporal pooling を用いて最終ロジットを生成する共有線形分類器をタスク間で学習する。
• ゲート処理が、ドリフトを制限する界付き対角演算子を生む理論分析を提供する。

Figure 1: Catastrophic forgetting in subject-incremental HAR: accuracy on Subject 1 drops from 85% to 40% after training on just three additional subjects (PAMAP2 dataset).

実験結果

リサーチクエスチョン

• RQ1 Frozen なバックボーン に対する対角的・チャネルごとのゲーティングは、HAR における被験者誘発のドメインシフトに対して安定な連続適応を提供できるか。
• RQ2 ゲーティング適応は、完全なファインチューニングまたは最小限の適応と比較して、忘却とHAR ベンチマークでの最終精度にどのような影響を与えるか。
• RQ3 ドメインインクリメンタル学習におけるゲーティング適応の特徴ドリフトとロジット安定性についての理論的保証は何か。
• RQ4 新しい HAR 被験者で競争力のある性能を達成するために、モデルパラメータのどの程度を訓練する必要があるか。
• RQ5 提案ゲートは、HAR データセットで観測されるチャネル-wise ドメインシフト下で十分であるか。

主な発見

• PAMAP2 の 8 人の連続被験者を用いた場合、忘却は 39.7%（訓練可能バックボーン）から 16.2% に低減。
• 最終精度は 56.7% から 77.7% に改善。
• 訓練にはモデルパラメータの 2% 未満を使用。
• ゲートベースの適応は、リプレイバッファやタスク固有正則化を用いなくても標準的な連続学習ベースラインと同等以上を達成。
• 3つの HAR ベンチマーク（PAMAP2、UCI-HAR、DSA）で、ドメインインクリメンタル設定下で最大 30 被験者まで一貫して改善を示す。

Figure 2: Overview of the proposed continual learning system for HAR, comprising data collection, preprocessing, and a classification model with a frozen pretrained backbone modulated by lightweight trainable gates.