[논문 리뷰] DanHAR: Dual Attention Network For Multimodal Human Activity Recognition Using Wearable Sensors

Wenbin Gao, Lei Zhang외 3명|arXiv (Cornell University)|2020. 06. 25.

Context-Aware Activity Recognition Systems참고 문헌 38인용 수 11

한 줄 요약

이 논문은 웨어러블 센서를 이용한 다중모odal 인간 활동 인식을 향상시키기 위해 채널 및 시간 주의 메커니즘을 CNN 아키텍처 내에 통합한 이중 주의 네트워크인 DanHAR을 제안한다. 센서 모odal리티 중요도와 핵심 시간 스텝을 동시에 모델링함으로써, 네 가지 공개 데이터셋과 약한 레이블이 부여된 데이터셋에서 최소한의 파라미터 오버헤드로 최신 기술 수준(SOTA)의 정확도를 달성하며, 주의 시각화 결과는 모델의 해석 가능성과 인간의 직관과의 일치를 확인한다.

ABSTRACT

Human activity recognition (HAR) in ubiquitous computing has been beginning to incorporate attention into the context of deep neural networks (DNNs), in which the rich sensing data from multimodal sensors such as accelerometer and gyroscope is used to infer human activities. Recently, two attention methods are proposed via combining with Gated Recurrent Units (GRU) and Long Short-Term Memory (LSTM) network, which can capture the dependencies of sensing signals in both spatial and temporal domains simultaneously. However, recurrent networks often have a weak feature representing power compared with convolutional neural networks (CNNs). On the other hand, two attention, i.e., hard attention and soft attention, are applied in temporal domains via combining with CNN, which pay more attention to the target activity from a long sequence. However, they can only tell where to focus and miss channel information, which plays an important role in deciding what to focus. As a result, they fail to address the spatial-temporal dependencies of multimodal sensing signals, compared with attention-based GRU or LSTM. In the paper, we propose a novel dual attention method called DanHAR, which introduces the framework of blending channel attention and temporal attention on a CNN, demonstrating superiority in improving the comprehensibility for multimodal HAR. Extensive experiments on four public HAR datasets and weakly labeled dataset show that DanHAR achieves state-of-the-art performance with negligible overhead of parameters. Furthermore, visualizing analysis is provided to show that our attention can amplifies more important sensor modalities and timesteps during classification, which agrees well with human common intuition.

연구 동기 및 목표

• 기존 주의 메커니즘이 시간적 또는 채널 기반 중요도에만 집중하여 공간-시간 상관관계를 놓치는 한계를 해결하기 위해.
• 딥 러닝 기반 HAR에서 채널 및 시간 주의를 CNN 기반 아키텍처에 통합함으로써 특징 표현을 향상시키기 위해.
• 비용이 많이 드는 완전 레이블링된 데이터셋에 의존도를 줄이고, 굵은 레이블 또는 약한 레이블 데이터로부터 효과적으로 학습할 수 있도록 하기 위해.
• 센서 중요도와 활동 타이밍에 대한 인간의 직관과 일치하는 주의 가중치를 시각화함으로써 모델의 해석 가능성 향상시키기 위해.
• 낮은 계산 오버헤드로 높은 정확도를 달성하여 실생활 웨어러블 응용 분야에 적합한 모델을 구현하기 위해.

제안 방법

• 잔차 CNN 아키텍처 내에서 동시에 채널 주의와 시간 주의를 적용하는 이중 주의 메커니즘을 제안한다.
• 압축 및 자극 블록을 사용하여 학습 가능한 채널 주의 가중치를 계산하여 중요한 센서 모달리티를 강조한다.
• 입력 시퀀스의 시간 스텝에 대해 소프트 주의를 적용하여 중요한 시간 스텝을 식별함으로써 시간적 집중도를 향상시킨다.
• 최종 분류 이전에 요소별 곱셈과 연결을 통해 채널 주의 및 시간 주의 특징을 융합한다.
• 기울기 흐름을 유지하고 학습 안정성을 향상시키기 위해 잔차 네트워크 백본을 사용한다.
• 교차 엔트로피 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련시켜 주의 및 특징 학습을 공동 최적화한다.

실험 결과

연구 질문

• RQ1 채널 및 시간 주의를 동시에 모델링하는 이중 주의 메커니즘이 다중모달 HAR 성능 향상에 기여하는가?
• RQ2 단일 주의 또는 순환 신경망 기반 주의 메커니즘과 비교해 볼 때, 제안된 주의 메커니즘은 정확도와 파라미터 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 주의 가중치가 센서 중요도와 활동 타이밍에 대한 인간의 직관을 어느 정도 반영하는가?
• RQ4 약한 레이블이 부여된 데이터에 대해 모델이 잘 일반화되는가? 이는 고비용의 완전 레이블링 데이터의 필요성을 줄일 수 있는가?
• RQ5 RNN 기반 주의 메커니즘(예: GRU 또는 LSTM)과 비교했을 때, CNN 아키텍처에 주의 메커니즘을 통합하는 것이 HAR 작업에서 더 뛰어난 성능을 내는가?

주요 결과

• DanHAR는 WISDM, PAMAP2, UNIMIB SHAR, OPPORTUNITY를 포함한 네 개의 공개 HAR 데이터셋에서 최신 기술 수준의 성능을 달성하며, 이전 방법들에 비해 뚜렷한 정확도 향상을 보였다.
• PAMAP2 데이터셋에서 DanHAR는 잔차 네트워크 기반 베이스라인의 오분류 오차 93건을 75건으로 감소시켜 뛰어난 일반화 능력을 입증했다.
• 모델은 무시무시한 파라미터 오버헤드를 유지하며, 웨어러블 기기에서의 구현에 매우 효율적이다.
• 시각화 결과 채널 주의는 뛰기나 로프 점프와 같은 활동에서 관련 센서(예: 손목 및 발목 센서)에 높은 가중치를 할당함으로써 인간의 기대와 일치함을 보였다.
• 시간 주의는 자전거 타기나 점프와 같은 활동 시퀀스에서 피크 운동 단계와 같은 핵심 시간 스텝을 효과적으로 강조했다.
• 이중 주의 메커니즘은 모달리티 간 및 시간에 따른 특징 융합을 향상시켜 모델의 이해 가능성과 유사 활동 클래스에 대한 강건성을 향상시켰다.