[논문 리뷰] Exploring Contrastive Learning in Human Activity Recognition for Healthcare

Chi Ian Tang, Ignacio Perez-Pozuelo외 2명|arXiv (Cornell University)|2020. 11. 23.

Context-Aware Activity Recognition Systems참고 문헌 24인용 수 56

한 줄 요약

본 논문은 SimCLR-스타일 대조학습을 센서 기반 HAR에 적용하고 시계열 증강이 성능에 미치는 영향을 체계적으로 연구하여, 특정 증강들, 특히 회전(rotation)이 미세 조정 시 감독 학습보다 강력한 이득을 가져올 수 있음을 보였다.

ABSTRACT

Human Activity Recognition (HAR) constitutes one of the most important tasks for wearable and mobile sensing given its implications in human well-being and health monitoring. Motivated by the limitations of labeled datasets in HAR, particularly when employed in healthcare-related applications, this work explores the adoption and adaptation of SimCLR, a contrastive learning technique for visual representations, to HAR. The use of contrastive learning objectives causes the representations of corresponding views to be more similar, and those of non-corresponding views to be more different. After an extensive evaluation exploring 64 combinations of different signal transformations for augmenting the data, we observed significant performance differences owing to the order and the function thereof. In particular, preliminary results indicated an improvement over supervised and unsupervised learning methods when using fine-tuning and random rotation for augmentation, however, future work should explore under which conditions SimCLR is beneficial for HAR systems and other healthcare-related applications.

연구 동기 및 목표

• 라벨이 제한된 건강에 중요한 과제로 HAR의 필요성을 제안한다.
• 대조학습이 HAR 표현을 감독 방식보다 개선할 수 있는지 조사한다.
• 적절한 시계열 증강을 사용하여 SimCLR를 웨어러블 센서 데이터에 적용한다.
• MotionSense에서 다양한 증강 조합이 HAR 성능에 미치는 영향을 정량화한다.

제안 방법

• 시계열 변환을 양수 쌍으로 사용하여 SimCLR 프레임워크를 HAR에 적응시킨다.
• 가벼운 기본 인코더(TPN)와 NT-Xent 손실이 있는 3계층 MLP 프로젝션 헤드를 사용한다.
• 대조학습을 위한 증강된 뷰를 생성하기 위해 여덟 가지 시계열 변환을 사용한다.
• MotionSense 데이터세트에서 선형 및 미세 조정된 다운스트림 분류기를 평가한다.
• 200 에포크로 사전 학습하고 배치 크기 512로, 코사인 감소를 사용하는 SGD를 사용한 뒤, 선형 및 미세 조정 프로토콜로 평가한다.

실험 결과

연구 질문

• RQ1 완전한 감독 학습과 비교하여 대조학습이 라벨이 없는 센서 데이터에서 HAR 표현을 개선할 수 있는가?
• RQ2 어떤 시계열 증강과 그 조합이 선형 및 미세 조정 평가에서 HAR 성능을 최대화하는가?
• RQ3 모션센스에서 센서 데이터를 사용한 SimCLR 사전학습이 기존의 자기지도 및 감독 방식의 HAR 방법과 어떻게 비교되는가?

주요 결과

• 선형 평가에서 채널 셔플링과 순열의 조합이 평균 F1 0.872를 달성했다.
• 미세 조정 평가에서 무작위 회전 단독이 가장 높은 F1 0.942를 달성했다.
• 일부 증강 조합은 선형 평가에서 최대 0.278 포인트의 F1 하락을 초래했다.
• 적응된 SimCLR은 완전 감독 모델에 비해 최대 0.020의 이득을 가져왔다.
• 순수 감독 및 이전 자기지도 HAR 벤치마크는 이 설정에서 F1 점수 약 0.922–0.923를 보였다.