[논문 리뷰] Self-supervised Wearable-based Activity Recognition by Learning to Forecast Motion

Setareh Rahimi Taghanaki, Ali Etemad|arXiv (Cornell University)|2020. 10. 21.

Context-Aware Activity Recognition Systems참고 문헌 31인용 수 6

한 줄 요약

이 논문은 현재 및 과거 센서 입력에서 향후 가속도 신호를 예측하도록 사전 훈련하는 컨볼루션 신경망을 사용하여 웨어러블 기반 인간 활동 인식을 위한 자기지도 학습 방법을 제안한다. 이후 라벨이 부여된 데이터로 미세조정을 수행한다. 이 방법은 UCI HAR 및 MotionSense 데이터셋에서 기존의 지도 학습 및 자기지도 학습 방법들을 능가하는 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We propose the use of self-supervised learning for human activity recognition. Our proposed solution consists of two steps. First, the representations of unlabeled input signals are learned by training a deep convolutional neural network to predict the values of accelerometer signals in future time-steps. Then, we freeze the convolution blocks of this network and transfer the weights to our next network aimed at human activity recognition. For this task, we add a number of fully connected layers to the end of the frozen network and train the added layers with labeled accelerometer signals to learn to classify human activities. We evaluate the performance of our method on two publicly available human activity datasets: UCI HAR and MotionSense. The results show that our self-supervised approach outperforms the existing supervised and self-supervised methods to set new state-of-the-art values.

연구 동기 및 목표

• 자기지도 사전 훈련을 통해 웨어러블 가속도계 데이터에서 인간 활동 인식을 향상시키기.
• 표본 라벨이 많은 데이터에 대한 의존도를 줄이기 위해 라벨이 없는 시퀀스를 활용해 표현 학습을 수행하기.
• 향후 운동 신호를 예측하는 것이 활동 인식에 효과적이고 이식 가능한 특징을 제공할 수 있는지 탐색하기.
• 기준 웨어러블 활동 인식 데이터셋에서 새로운 최신 기술 수준 성능을 확립하기.

제안 방법

• 딥 컨볼루션 신경망을 자기지도 방식으로 훈련하여 현재 및 과거 센서 입력에서 향후 가속도 값을 예측한다.
• 네트워크는 시간 예측을 사전 과제로 사용하여 원시적이고 라벨이 없는 가속도 시퀀스로부터 의미 있는 표현을 학습한다.
• 사전 훈련 후 컨볼루션 특징 추출기는 고정되고 새로운 분류 헤드로 이전된다.
• 최종 분류 네트워크는 위에 추가된 완전 연결 층만 미세조정하여 라벨이 부여된 데이터로 훈련된다.
• 사전 훈련된 모델에서 특징 전이를 활용하여 최종 활동 인식 작업의 성능을 향상시킨다.
• 이 방법은 표준 평가 프로토콜을 사용하여 두 개의 공개 데이터셋(UKI HAR 및 MotionSense)에서 평가된다.

실험 결과

연구 질문

• RQ1 미래 운동 예측에 기반한 자기지도 학습이 웨어러블 기반 활동 인식을 위한 특징 표현을 향상시킬 수 있는가?
• RQ2 이러한 예측 기반 사전 훈련의 성능는 기존의 지도 학습 및 자기지도 학습 방법과 비교하여 어떻게 되는가?
• RQ3 라벨이 없는 데이터에서 학습한 표현이 최종 활동 분류 작업으로 일반화되는 정도는 어느 정도인가?
• RQ4 제안된 방법이 표준 기준 데이터셋에서 최신 기술 수준의 성능를 달성하는가?

주요 결과

• 제안된 자기지도 방법은 UCI HAR 데이터셋에서 기존의 지도 학습 및 자기지도 학습 접근법을 능가하는 최신 기술 수준 성능를 달성한다.
• MotionSense 데이터셋에서는 새로운 최신 기술 수준 정확도를 달성하여 다양한 웨어러블 센서 구성에 걸쳐 강력한 일반화 능력을 보여준다.
• 운동 예측을 사전 과제로 사용하는 것이 활동 인식에 유용한 시간적 동역학을 효과적으로 포착한다.
• 사전 훈련된 모델에서 특징 전이를 통해 라벨이 부족한 데이터로도 분류 성능이 크게 향상된다.
• 결과는 라벨이 없는 시퀀스에서 자기지도 사전 훈련을 통해 수동 주석 처리가 필요 없이 경쟁 가능한 표현을 도출할 수 있음을 확인한다.