[논문 리뷰] Attention-Based Sensor Fusion for Human Activity Recognition Using IMU Signals

Wenjin Tao, Haodong Chen외 4명|arXiv (Cornell University)|2021. 12. 20.

Context-Aware Activity Recognition Systems인용 수 10

한 줄 요약

이 논문은 다중 IMU 센서를 사용한 인간 활동 인식을 위한 주의 기반 센서 융합 프레임워크를 제안한다. CNN을 활용해 센서별 특징을 추출하고, 학습 가능한 주의 메커니즘을 통해 센서의 중요도를 동적으로 가중한다. 이 방법은 상호 센서 상관관계를 효과적으로 모델링하고 각 활동에 가장 정보가 많은 신체 부위에 집중함으로써 다섯 개인 공개 데이터셋에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Human Activity Recognition (HAR) using wearable devices such as smart watches embedded with Inertial Measurement Unit (IMU) sensors has various applications relevant to our daily life, such as workout tracking and health monitoring. In this paper, we propose a novel attention-based approach to human activity recognition using multiple IMU sensors worn at different body locations. Firstly, a sensor-wise feature extraction module is designed to extract the most discriminative features from individual sensors with Convolutional Neural Networks (CNNs). Secondly, an attention-based fusion mechanism is developed to learn the importance of sensors at different body locations and to generate an attentive feature representation. Finally, an inter-sensor feature extraction module is applied to learn the inter-sensor correlations, which are connected to a classifier to output the predicted classes of activities. The proposed approach is evaluated using five public datasets and it outperforms state-of-the-art methods on a wide variety of activity categories.

연구 동기 및 목표

• 다양한 실제 환경에서 다중 센서 IMU 데이터를 융합하여 강건한 인간 활동 인식을 수행하는 데 도전한다.
• 수작업 특징과 고정된 센서 융합 방식의 한계를 극복하기 위해 원시 IMU 신호에서 분류 가능한 적응형 표현을 학습한다.
• 각 활동에 가장 정보가 많은 신체 위치를 식별하는 학습 가능한 주의 메커니즘을 개발한다.
• 전용 특징 추출 모듈을 통해 상호 센서 상관관계를 모델링하여 인식 정확도를 향상시킨다.

제안 방법

• 각 센서의 원시 IMU 신호를 주파수 도메인 이미지로 변환하여 효과적인 CNN 처리를 가능하게 한다.
• 개별 센서 입력에서 분류 가능한 특징을 추출하기 위해 센서별로 CNN 모듈을 적용한다.
• 다양한 신체 부위에 위치한 센서의 동적 중요도 가중치를 계산하기 위해 학습 가능한 주의 메커니즘을 구현한다.
• 센서 표현 간의 상관관계를 모델링하기 위해 상호 센서 특징 추출 모듈을 사용한다.
• 주의 기반 및 상관 특징을 융합하여 최종 활동 예측을 위한 분류기로 사용한다.
• 센서 중요도 점수를 정규화하기 위해 소프트 주의와 소프트맥스 함수를 사용한다 (식 8).

실험 결과

연구 질문

• RQ1 어떻게 주의 메커니즘이 다중 IMU 신호를 융합하여 인간 활동 인식 성능을 향상시킬 수 있는가?
• RQ2 센서별 주의 가중치의 기여도는 다양한 활동에 대해 가장 정보가 많은 신체 부위를 식별하는 데 어떻게 기여하는가?
• RQ3 학습 가능한 융합 전략은 다중 센서 HAR에서 고정 또는 수작업 융합 방법을 능가할 수 있는가?
• RQ4 상호 센서 상관관계는 복잡한 전신 활동을 구분하는 데 모델의 능력을 어떻게 향상시키는가?
• RQ5 제안된 방법은 다양한 데이터셋과 활동 유형에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방법은 다섯 개인 공개 HAR 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존 방법보다 정확도에서 뛰어난 성능을 보였다.
• 주의 메커니즘이 활동 유형에 따라 센서 중요도를 효과적으로 우선순위를 정함을 입증하였다. 예를 들어 '로잉' 활동에서는 팔 센서에 초점을 맞추고, '달리기'나 '점프' 활동에서는 중요도를 균일하게 분배하였다.
• 주의 가중치의 시각화 결과 모델이 활동에 따라 의미 있는, 활동에 의존적인 센서 중요도를 학습하고 있음을 확인하였으며, 물리적 직관과 일치하였다.
• 클래스 활성도 맵(CAMs)은 모델이 각 활동에 관련된 분류 가능한 신호 영역과 주파수 성분에 집중하고 있음을 보여주었다.
• 모델은 고립된 동작과 전신 운동을 포함한 다양한 활동 유형에 대해 잘 일반화됨을 확인하였다.
• 제거 실험을 통해 주의 메커니즘과 상호 센서 상관관계 모듈이 성능 향상에 효과적이라는 점을 입증하였다.