[論文レビュー] Optimization-Free Test-Time Adaptation for Cross-Person Activity Recognition

Shuoyuan Wang, Jindong Wang+4 more|arXiv (Cornell University)|Oct 28, 2023

Human Pose and Action Recognition被引用数 5

ひとこと要約

本稿では、クロスパーソンセンサベースの行動認識（HAR）のための最適化フリーのテスト時適応（OFTTA）を提案する。OFTTAは、エッジデバイス上でパrameter最適化を伴わず、リアルタイムかつ効率的な適応を可能にする。OFTTAは、特徴抽出の安定化に指数関数的減衰テスト時正則化（EDTN）を用い、仮ラベルを介して更新されるプロトタイプベース分類器を採用し、3つのHARデータセットおよび実際のエッジハードウェア上で最先端の精度と計算効率を達成する。

ABSTRACT

Human Activity Recognition (HAR) models often suffer from performance degradation in real-world applications due to distribution shifts in activity patterns across individuals. Test-Time Adaptation (TTA) is an emerging learning paradigm that aims to utilize the test stream to adjust predictions in real-time inference, which has not been explored in HAR before. However, the high computational cost of optimization-based TTA algorithms makes it intractable to run on resource-constrained edge devices. In this paper, we propose an Optimization-Free Test-Time Adaptation (OFTTA) framework for sensor-based HAR. OFTTA adjusts the feature extractor and linear classifier simultaneously in an optimization-free manner. For the feature extractor, we propose Exponential DecayTest-time Normalization (EDTN) to replace the conventional batch normalization (CBN) layers. EDTN combines CBN and Test-time batch Normalization (TBN) to extract reliable features against domain shifts with TBN's influence decreasing exponentially in deeper layers. For the classifier, we adjust the prediction by computing the distance between the feature and the prototype, which is calculated by a maintained support set. In addition, the update of the support set is based on the pseudo label, which can benefit from reliable features extracted by EDTN. Extensive experiments on three public cross-person HAR datasets and two different TTA settings demonstrate that OFTTA outperforms the state-of-the-art TTA approaches in both classification performance and computational efficiency. Finally, we verify the superiority of our proposed OFTTA on edge devices, indicating possible deployment in real applications. Our code is available at https://github.com/Claydon-Wang/OFTTA.

研究の動機と目的

• 推論時に個人間の分布シフトが生じることによるセンサベースHARの性能低下という課題に対処する。
• リソース制約のあるエッジデバイスへの導入を制限する、最適化ベースのテスト時適応（TTA）手法の高い計算コストを克服する。
• モデルの再トレーニングや推論時の最適化を必要とせず、高い精度を維持する効率的でハードウェアにやさしいTTAフレームワークを開発する。
• バックプロパゲーションや最適化ループを避けることで、メモリと遅延を低減し、Raspberry Piなどのエッジデバイスでリアルタイム適応を実現する。
• 仮ラベルを用いたテスト時正則化とプロトタイプベース分類の統合により、未知のドメインに対しても耐性を確保する。

提案手法

• テスト時バッチ正則化（TBN）の影響が深層ネットワークの層を経るごとに指数関数的に減少するように設計された、従来のバッチ正則化（CBN）とTBNを融合する指数関数的減衰テスト時正則化（EDTN）を提案する。
• 仮ラベルを介して更新されるプロトタイプのサポートセットを用いて、推論中に分類器を動的に調整し、最適化ステップを回避する。
• 入力特徴とサポートセット内での最近傍プロトタイプとの距離を計算して最終予測を算出し、高速でパrameterフリーの推論を実現する。
• 各クラスごとの特徴の累積平均を維持して信頼性の高いプロトタイプを形成し、新しい仮ラベル予測が信頼できる場合にのみ更新する。
• EDTNとプロトタイプベース適応を統合したフレームワークを構築し、最適化を伴わず特徴抽出器と分類器を同時に適応させる。
• バックプロパゲーションや最適化ループを回避することで、エッジデバイスと互換性を持たせ、メモリと遅延を低減する。

実験結果

リサーチクエスチョン

• RQ1 推論時にパrameter更新に依存しない最適化フリーのTTAフレームワークは、クロスパーソンHARで競争力のある性能を達成できるか？
• RQ2 EDTNは、個人間の分布シフトに対処する上で、従来のバッチ正則化とテスト時バッチ正則化と比較してどのように優れているか？
• RQ3 仮ラベルを用いたサポートセットによる分類器適応が、モデルの精度と効率に与える影響は何か？
• RQ4 Raspberry Piなどの実際のエッジデバイス上でのOFTTAの推論遅延とメモリ使用量はどの程度か？
• RQ5 OFTTAは、深刻な忘却や高い計算コストを伴わず、実世界のHARアプリケーションにおける分布シフトを効果的に処理できるか？

主な発見

• OFTTAは、3つの公開クロスパーソンHARデータセットにおいて、最先端の最適化ベースTTA手法を上回る分類精度と計算効率を達成する。
• ARM Cortex-A53搭載のRaspberry Piなどのエッジデバイス上でも、OFTTAは最適化ベース手法と比較して時間的・メモリ的オーバーヘッドをほとんど発生させない。一方、最適化ベース手法は顕著な遅延と過熱を引き起こす。
• 100ステップの適応処理中にCPU温度が上昇する割合は、OFTTAでは許容範囲内であるが、最適化ベース手法では急速に過熱し、適応に時間がかかる。
• EDTNは、深層層を経るごとにテスト時統計への依存度を徐々に低くすることで、ドメイン間で特徴表現を安定化させ、分布シフトに対する耐性を向上させる。
• 仮ラベルを用いたプロトタイプベース分類器により、最適化を伴わず高精度で高速な推論が可能となり、分布シフト下でも競争力ある性能を発揮する。
• ローバーロスアウト評価において、OFTTAは未観測の被験者に対しても高い精度を維持しており、実世界のシナリオにおける強力な汎化能力と適応性を示している。