[論文レビュー] Leveraging Activity Recognition to Enable Protective Behavior Detection in Continuous Data

Chongyang Wang, Yuan Gao+4 more|arXiv (Cornell University)|Nov 3, 2020

Context-Aware Activity Recognition Systems参考文献 78被引用数 4

ひとこと要約

本論文は、グラフ畳み込みおよびLSTMネットワーク（GC-LSTM）を統合した階層的HAR-PBDフレームワークを提案し、慢性疼痛患者の連続的で現実世界の活動データから正確な保護行動検出（PBD）を可能にするために、クラスバランスを考慮したフォーカルカテゴリカル交差エントロピー損失を用いる。この手法は、マクロF1スコア0.81およびPR-AUC 0.60を達成し、ベースライン手法を著しく上回る性能を示した。

ABSTRACT

Protective behavior exhibited by people with chronic pain (CP) during physical activities is the key to understanding their physical and emotional states. Existing automatic protective behavior detection (PBD) methods rely on pre-segmentation of activities predefined by users. However, in real life, people perform activities casually. Therefore, where those activities present difficulties for people with chronic pain, technology-enabled support should be delivered continuously and automatically adapted to activity type and occurrence of protective behavior. Hence, to facilitate ubiquitous CP management, it becomes critical to enable accurate PBD over continuous data. In this paper, we propose to integrate human activity recognition (HAR) with PBD via a novel hierarchical HAR-PBD architecture comprising graph-convolution and long short-term memory (GC-LSTM) networks, and alleviate class imbalances using a class-balanced focal categorical-cross-entropy (CFCC) loss. Through in-depth evaluation of the approach using a CP patients' dataset, we show that the leveraging of HAR, GC-LSTM networks, and CFCC loss leads to clear increase in PBD performance against the baseline (macro F1 score of 0.81 vs. 0.66 and precision-recall area-under-the-curve (PR-AUC) of 0.60 vs. 0.44). We conclude by discussing possible use cases of the hierarchical architecture in CP management and beyond. We also discuss current limitations and ways forward.

研究の動機と目的

• 慢性疼痛患者が連続的で区間分けされていない身体活動を遂行する中で、リアルタイムかつ自動的に保護行動を検出すること。
• 事前に定義された活動セグメントやユーザーのアノテーションに依存する既存のPBD手法の限界を克服すること。
• ストリーミングデータにおいて、活動認識と保護行動検出を統合的に実行するフレームワークの構築。
• 希少だが臨床的に重要な行動が含まれる保護行動データにおけるクラスの不均衡が、モデル性能に与える悪影響を是正すること。
• 自動的かつ文脈に即した行動検出を通じて、連続的かつ適応的な臨床モニタリングと個別化された疼痛管理を支援すること。

提案手法

• 提案されたHAR-PBDアーキテクチャは、センサーデータ内の時間的および空間的依存関係をモデル化するGC-LSTMネットワークを用い、活動認識と保護行動検出を同時に実行する。
• グラフ畳み込み層を用いて、体に装着されたセンサーノード間の関係を捉え、空間的特徴表現を向上させる。
• 階層的設計により、活動認識の結果が保護行動検出を支援・最適化され、活動タイプに応じた検出論理の適応が可能になる。
• クラスバランスを考慮したフォーカルカテゴリカル交差エントロピー（CFCC）損失を導入し、不均衡データの影響を軽減し、識別が難しいサンプルに重点を置いた学習を実現する。
• モデルはウェアラブルセンサからの連続的時系列データ上でエンドツーエンドに学習され、手動によるセグメンテーションなしにリアルタイム推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 連続的で区間分けされていない身体活動データから慢性疼痛患者の保護行動を効果的に検出できる統合的ディープラーニングフレームワークは存在するか？
• RQ2 活動認識（HAR）と保護行動検出（PBD）を統合することで、独立したPBDモデルと比較して検出精度がどの程度向上するか？
• RQ3 CFCC損失は、保護行動データセットにおけるクラスの不均衡によって引き起こされる性能低下をどの程度軽減できるか？
• RQ4 GC-LSTMアーキテクチャは、センサーシグナルの時間的および空間的モデリングをどのように向上させ、PBDの性能を向上させるか？
• RQ5 提案されたフレームワークは、連続的かつ適応的な慢性疼痛管理において、現実世界での実用性を有しているか？

主な発見

• CFCC損失を用いた提案されたGC-LSTMモデルは、マクロF1スコア0.81を達成し、ベースラインモデル（0.66）と比較して相対的に22.7%の向上を示した。
• PR-AUCが0.60とベースラインの0.44を上回り、希少な保護行動インスタンスの検出性能が優れていることが示された。
• HARとPBDの統合により、活動に依存する行動モデリングが可能となり、検出精度が顕著に向上した。
• CFCC損失はクラスの不均衡の悪影響を効果的に低減し、特に代表数が少ない保護行動クラスの再現率が向上した。
• 階層的アーキテクチャにより、多様な活動状況においても頑健な性能を発揮し、慢性疼痛管理における連続的モニタリングの実現可能性が示された。