[논문 리뷰] Sequential Weakly Labeled Multi-Activity Recognition and Location on Wearable Sensors using Recurrent Attention Network

Kun Wang, Jun He외 1명|arXiv (Cornell University)|2020. 04. 13.

Context-Aware Activity Recognition Systems참고 문헌 23인용 수 3

한 줄 요약

이 논문은 웨어러블 센서를 사용한 순차적 약한 레이블링 다중 활동 인식 및 위치 추정을 위한 순환 어텐션 네트워크를 제안하며, 단일 세그먼트 내에서 여러 활동에 대해 반복적으로 어텐션을 적용할 수 있도록 한다. 모델은 정확도를 향상시키고 데이터 세그먼트화를 자동화하여 UniMiB-SHAR 및 자체 구축한 순차적 약한 레이블링 다중 활동 데이터셋에서 CNN 기준선을 능가한다.

ABSTRACT

With the popularity and development of the wearable devices such as smartphones, human activity recognition (HAR) based on sensors has become as a key research area in human computer interaction and ubiquitous computing. The emergence of deep learning leads to a recent shift in the research of HAR, which requires massive strictly labeled data. In comparison with video data, activity data recorded from an accelerometer or gyroscope is often more difficult to interpret and segment. Recently, several attention mechanisms are proposed to handle the weakly labeled human activity data, which do not require accurate data annotation. However, these attention-based models can only handle the weakly labeled dataset whose segment includes one labeled activity, as a result it limits efficiency and practicality. In the paper, we proposed a recurrent attention network to handle sequential activity recognition and location tasks. The model can repeatedly perform steps of attention on multiple activities of one segment and each step is corresponding to the current focused activity according to its previous observations. The effectiveness of the recurrent attention model is validated by comparing with a baseline CNN, on the UniMiB-SHAR dataset and a collected sequential weakly labeled multi-activity dataset. The experiment results show that our recurrent attention model not only can perform single activity recognition tasks, but also can recognize and locate sequential weakly labeled multi-activity data. Besides, the recurrent attention can greatly facilitate the process of sensor data accumulation by automatically segmenting the regions of interest.

연구 동기 및 목표

• 기존 어텐션 모델이 약한 레이블링 인간 활동 인식에서 단일 활동 세그먼트만 처리할 수 있는 한계를 해결하기 위해.
• 단일 레이블 없이도 하나의 레이블 없음 세그먼트 내에서 다중 순차적 활동을 정확하게 인식하고 위치를 특정하기 위해.
• 센서 데이터에서 관심 영역을 자동으로 식별하여 정밀한 수동 레이블링에 대한 의존도를 줄이기 위해.
• 실생활 웨어러블 센서 응용 프로그램에서의 실용성과 효율성을 향상시키기 위해.

제안 방법

• 이전 관측 기반으로 단일 세그먼트 내에서 다양한 활동에 대해 반복적으로 초점을 맞추는 순환 어텐션 메커니즘을 제안한다.
• 다중 단계에 걸쳐 초점이 업데이트되는 어텐션 모듈을 사용하여 하나의 세그먼트에서 여러 활동을 탐지할 수 있도록 한다.
• 순환 처리를 활용해 어텐션 단계 간의 맥락을 유지함으로써 순차적 활동 인식 성능을 향상시킨다.
• 가속도계 및 자이로스코프 데이터를 사용하여 활동 인식 및 위치 작업에 모델을 적용한다.
• 단일 세그먼트 레이블만 제공되는 약한 레이블 데이터를 기반으로 네트워크를 엔드 투 엔드로 훈련시킨다.
• 세그먼트 내 활동 클래스와 그 시간적 위치를 동시에 예측하기 위해 듀얼 헤드 아키텍처를 활용한다.

실험 결과

연구 질문

• RQ1 순환 어텐션 메커니즘은 단일 약한 레이블 세그먼트 내에서 다중 순차적 활동을 효과적으로 인식할 수 있는가?
• RQ2 표준 CNN과 비교해 볼 때, 순환 어텐션 모델은 약한 레이블링 다중 활동 인식에서 정확도 측면에서 어떤가?
• RQ3 정밀한 레이블 없이도 모델이 원시 센서 데이터에서 관심 영역을 얼마나 자동으로 세그먼트화할 수 있는가?
• RQ4 실생활 웨어러블 센서 데이터에서 복잡하고 겹치는 활동 시퀀스를 처리할 때 모델의 성능을 유지할 수 있는가?

주요 결과

• 순환 어텐션 모델은 UniMiB-SHAR 데이터셋과 자체 구축한 순차적 약한 레이블링 다중 활동 데이터셋 양쪽에서 CNN 기준선보다 뛰어난 성능을 기록한다.
• 모델은 단일 레이블 없음 세그먼트 내에서 다중 순차적 활동을 성공적으로 인식하고 위치를 특정하여 이전 어텐션 모델의 단일 활동 제한을 극복한다.
• 순환 어텐션 메커니즘은 관심 영역의 자동 세그먼트화를 가능하게 하여 수동 데이터 정제 작업을 줄인다.
• 활동 시퀀스가 센서 데이터에서 복잡하고 겹치더라도 모델은 높은 정확도를 유지한다.
• 어텐션 메커니즘은 활동 간에 동적으로 초점을 이동시켜 이전 맥락을 바탕으로 후속 동작을 더 잘 탐지하도록 한다.
• 정밀한 레이블링이 거의 필요 없이도 실생활 구현에서 실용적인 이점을 보여준다.