[논문 리뷰] Self-supervised Learning for Human Activity Recognition Using 700,000 Person-days of Wearable Data

Hang Yuan, Shing Chan외 5명|arXiv (Cornell University)|2022. 06. 06.

Context-Aware Activity Recognition Systems참고 문헌 52인용 수 12

한 줄 요약

이 논문은 영국 생물은행에서 확보한 70만 명-일 분량의 라벨이 없는 손목에 착용하는 가속도계 데이터를 활용해 자기지도 학습 프레임워크를 제안한다. 이는 인간 활동 인식(HAR) 모델을 사전 학습하기 위한 것으로, 시간의 방향, 순서 뒤섞기, 시간 왜곡이라는 세 가지 시간적 사전과제를 동시에 최적화함으로써 다양한 데이터셋, 기기, 인구 집단에 일반화 가능한 강력한 표현을 학습한다. 강력한 기준 모델 대비 중앙값 F1 점수를 평균 18.4% 향상시켰으며, 특히 데이터가 적은 환경에서 최대 100% 향상되었다.

ABSTRACT

Advances in deep learning for human activity recognition have been relatively limited due to the lack of large labelled datasets. In this study, we leverage self-supervised learning techniques on the UK-Biobank activity tracker dataset--the largest of its kind to date--containing more than 700,000 person-days of unlabelled wearable sensor data. Our resulting activity recognition model consistently outperformed strong baselines across seven benchmark datasets, with an F1 relative improvement of 2.5%-100% (median 18.4%), the largest improvements occurring in the smaller datasets. In contrast to previous studies, our results generalise across external datasets, devices, and environments. Our open-source model will help researchers and developers to build customisable and generalisable activity classifiers with high performance.

연구 동기 및 목표

• 작은, 레이블링에 비용이 많이 드는 라벨이 부여된 데이터셋으로 인해 딥러닝의 HAR 성능이 제한되는 문제를 해결하기 위해.
• 대규모 실세계 라벨이 없는 웨어러블 데이터를 활용한 자기지도 학습(SSL)이 다양한 도메인 간 HAR 일반화 성능을 향상시킬 수 있는지 조사하기 위해.
• 작은 실험실 기반 데이터셋이 아닌 다양하고 실제적인 데이터셋(영국 생물은행)을 활용해 SSL을 평가함으로써 이전보다 더 현실적인 이식 가능성 평가를 가능하게 하기 위해.
• 비용이 많이 드는 데이터 레이블링에 의존하지 않고도 공개 가능하고 높은 성능을 보이는 HAR 모델을 개발하기 위해.
• 다중 작업 SSL이 인간 운동 역학, 강도, 센서 동기화성 등의 의미 있는 표현을 학습할 수 있는지 탐색하기 위해.

제안 방법

• 시간의 방향(시간 순서 예측), 순서 뒤섞기(센서 축 재정렬), 시간 왜곡(시간 시퀀스 왜곡)이라는 세 가지 자기지도 사전과제를 사용해 딥 네ural 네트워크를 사전 학습한다.
• 100,000명의 영국 생물은행 참가자들로부터 손목에 착용한 기기에서 100Hz 속도로 확보한 총 60억 건의 삼축 가속도계 샘플로 구성된 대규모 실세계 데이터셋을 사용한다.
• 각 사전과제에 맞는 작업별 헤드를 갖춘 공통의 특징 추출기 구조를 사용하며, 대조 학습 목표를 통해 엔드 투 엔드로 학습한다.
• 사전 학습 중 운동 동작이 있는 동안을 우선시하는 운동 인식 가중 샘플링 전략을 적용하여 표현 품질을 향상시킨다.
• 최소한의 라벨이 부여된 데이터를 사용해 일곱 개의 하류 HAR 벤치마크에서 사전 학습된 모델을 미세조정한다.
• 해석 가능성 분석을 위해 레이어별 관련성 전파(LRP)를 사용하여 사전과제 예측 시 모델이 어떤 신호 세그먼트에 주목하는지 분석한다.

실험 결과

연구 질문

• RQ1 대규모 실세계 웨어러블 데이터를 활용한 자기지도 학습이 다양한 데이터셋과 환경에서 하류 HAR 성능을 향상시킬 수 있는가?
• RQ2 시간적 사전과제(시간의 방향, 순서 뒤섞기, 시간 왜곡)를 갖춘 다중 작업 SSL이 인간 운동에 대한 표현 학습을 어떻게 향상시키는가?
• RQ3 영국 생물은행의 라벨이 없는 데이터에서 사전 학습한 결과가, 작은 실험실 데이터셋에서의 감독 학습 또는 대조 학습보다 더 나은 일반화 성능을 보이는가?
• RQ4 학습된 표현이 인간 운동 역학, 강도, 축 간 동기화성 등의 의미 있는 특성을 어느 정도 반영하는가?
• RQ5 사전 학습된 모델이 하류 작업에서 라벨이 적은 데이터로도 높은 성능을 달성할 수 있는가?

주요 결과

• 자기지도 학습 모델은 일곱 개의 벤치마크 데이터셋에서 중앙값 F1 점수를 18.4% 향상시켰으며, 향상 폭은 2.5%에서 100%까지 다양했다.
• 가장 큰 성능 향상은 작은 데이터셋에서 발생하여 높은 데이터 효율성과 라벨 데이터 의존도 감소를 입증했다.
• 기존의 SSL-HAR 연구와 달리, 다양한 기기, 인구 집단, 활동 유형, 기록 환경 간 효과적인 일반화를 보였다.
• LRP를 활용한 해석 가능성 분석 결과, 모델은 테니스에서의 흔들림, 리듬적인 진동과 같은 자연스러운 운동 패턴을 사전과제 예측에 관련된 것으로 정확히 식별했다.
• 가공된 데이터에서 비자연스러운 운동 역학에 대해 모델의 주목도가 감소함으로써 분포 이질성에 대한 강건성을 보였다.
• 미세조정 이전 단계에서 사전 학습된 모델이 이미 강력한 활동 구분 능력을 보였으며, 이는 운동 역학의 효과적인 표현 학습을 의미한다.