[논문 리뷰] Leveraging Activity Recognition to Enable Protective Behavior Detection in Continuous Data

Chongyang Wang, Yuan Gao외 4명|arXiv (Cornell University)|2020. 11. 03.

Context-Aware Activity Recognition Systems참고 문헌 78인용 수 4

한 줄 요약

이 논문은 만성 통증 환자로부터의 연속적이고 실생활의 활동 데이터에서 정확한 보호 행동 탐지(PBD)를 가능하게 하기 위해 그래프 컨volutional 및 LSTM 네트워크(GC-LSTM)를 통합한 계층적 HAR-PBD 프레임워크를 제안한다. 클래스 균형 잡힌 포칼 카테고리형 교차 엔트로피 손실을 사용하여, 이 방법은 기준 모델 대비 상대적으로 22.7% 향상된 매크로 F1 점수 0.81과 PR-AUC 0.60을 달성하여 기준 방법들을 뛰어넘는 성능을 보였다.

ABSTRACT

Protective behavior exhibited by people with chronic pain (CP) during physical activities is the key to understanding their physical and emotional states. Existing automatic protective behavior detection (PBD) methods rely on pre-segmentation of activities predefined by users. However, in real life, people perform activities casually. Therefore, where those activities present difficulties for people with chronic pain, technology-enabled support should be delivered continuously and automatically adapted to activity type and occurrence of protective behavior. Hence, to facilitate ubiquitous CP management, it becomes critical to enable accurate PBD over continuous data. In this paper, we propose to integrate human activity recognition (HAR) with PBD via a novel hierarchical HAR-PBD architecture comprising graph-convolution and long short-term memory (GC-LSTM) networks, and alleviate class imbalances using a class-balanced focal categorical-cross-entropy (CFCC) loss. Through in-depth evaluation of the approach using a CP patients' dataset, we show that the leveraging of HAR, GC-LSTM networks, and CFCC loss leads to clear increase in PBD performance against the baseline (macro F1 score of 0.81 vs. 0.66 and precision-recall area-under-the-curve (PR-AUC) of 0.60 vs. 0.44). We conclude by discussing possible use cases of the hierarchical architecture in CP management and beyond. We also discuss current limitations and ways forward.

연구 동기 및 목표

• 만성 통증 환자에서 연속적이고 분할되지 않은 신체 활동 동안 실시간 자동으로 보호 행동을 탐지할 수 있도록 하는 것.
• 사전 정의된 활동 세그먼트와 사용자 애너테이션에 의존하는 기존 PBD 방법의 한계를 극복하는 것.
• 스트리밍 데이터에서 활동을 동시에 인식하고 보호 행동을 탐지하는 통합된 프레임워크를 개발하는 것.
• 희귀하지만 임상적으로 중요한 행동에 대해 모델 성능이 떨어지는 경향이 있는 보호 행동 데이터의 클래스 불균형 문제를 해결하는 것.
• 자동화되고 맥락 인식 가능한 행동 탐지를 통해 연속적이고 적응형 임상 모니터링 및 개인화된 통증 관리 지원을 위한 것.

제안 방법

• 제안된 HAR-PBD 아키텍처는 GC-LSTM 네트워크를 사용하여 센서 데이터의 시간적 및 공간적 의존성을 모델링함으로써 활동 인식과 보호 행동 탐지를 동시에 수행한다.
• 그래프 컨볼루션 레이어를 활용하여 신체에 부착된 센서 노드 간의 관계를 포착함으로써 공간적 특징 표현을 향상시킨다.
• 계층적 설계 덕분에 활동 인식 결과가 보호 행동 탐지에 영향을 주고, 활동 유형에 따라 탐지 로직을 적응적으로 조정할 수 있다.
• 클래스 균형 잡힌 포칼 카테고리형 교차 엔트로피(CFCC) 손실을 도입하여 불균형 데이터의 영향을 완화하고, 분류가 어려운 샘플에 집중하여 학습을 유도한다.
• 모델은 웨어러블 센서에서 얻은 연속적인 시계열 데이터를 엔드 투 엔드로 훈련하여 수동 세그먼테이션 없이 실시간 추론이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 만성 통증 환자로부터의 연속적이고 분할되지 않은 신체 활동 데이터에서 보호 행동을 효과적으로 탐지할 수 있는 통합된 딥 러닝 프레임워크가 존재하는가?
• RQ2 보호 행동 탐지(PBD)에 인간 활동 인식(HAR)을 통합할 경우, 별도의 PBD 모델에 비해 탐지 정확도가 어떻게 향상되는가?
• RQ3 CFCC 손실이 보호 행동 데이터셋의 클래스 불균형으로 인한 성능 저하를 어느 정도 완화하는가?
• RQ4 GC-LSTM 아키텍처는 센서 신호의 시간적 및 공간적 모델링을 어떻게 향상시켜 PBD 성능을 개선하는가?
• RQ5 제안된 프레임워크는 연속적이고 적응형 만성 통증 관리에 실생활 적용 가능성이 있는가?

주요 결과

• CFCC 손실을 적용한 제안된 GC-LSTM 모델은 매크로 F1 점수 0.81을 달성하여 기준 모델(0.66) 대비 상대적으로 22.7% 향상되었다.
• PR-AUC 0.60은 기준 모델의 0.44를 뛰어넘어 희귀한 보호 행동 인스턴스에 대한 성능 향상을 시사한다.
• HAR와 PBD의 통합은 활동 인식 기반의 행동 모델링을 가능하게 하여 탐지 정확도를 크게 향상시켰다.
• CFCC 손실은 클래스 불균형의 부정적 영향을 효과적으로 줄였으며, 특히 부족하게 표현된 보호 행동 클래스의 리콜 향상에 기여했다.
• 계층적 아키텍처는 다양한 활동 간에서도 견고한 성능을 보였으며, 만성 통증 관리에서 실생활 연속 모니터링에의 실현 가능성을 입증했다.