[논문 리뷰] Assessing the State of Self-Supervised Human Activity Recognition using Wearables

Harish Haresamudram, Irfan Essa외 1명|arXiv (Cornell University)|2022. 02. 22.

Context-Aware Activity Recognition Systems인용 수 5

한 줄 요약

이 논문은 웨어러블 기반 인간 활동 인식(HAR)을 위한 자기지도 학습(SSL) 방법을 평가하기 위한 종합적인 프레임워크를 제안한다. 이 프레임워크는 도메인 이동에 대한 내성, 데이터셋 특성, 학습된 특징 공간 성질에 대한 성능을 평가한다. 아홉 개의 벤치마크 데이터셋에서 50,000+개의 실험을 통해, SSL 방법이 클래스 불균형과 데이터 부족에 매우 강건하며, 마스킹 재구성과 다중작업 자기지도 학습이 뛰어난 일반화 능력과 표현 효율성을 보임을 규명한다.

ABSTRACT

The emergence of self-supervised learning in the field of wearables-based human activity recognition (HAR) has opened up opportunities to tackle the most pressing challenges in the field, namely to exploit unlabeled data to derive reliable recognition systems for scenarios where only small amounts of labeled training samples can be collected. As such, self-supervision, i.e., the paradigm of 'pretrain-then-finetune' has the potential to become a strong alternative to the predominant end-to-end training approaches, let alone hand-crafted features for the classic activity recognition chain. Recently a number of contributions have been made that introduced self-supervised learning into the field of HAR, including, Multi-task self-supervision, Masked Reconstruction, CPC, and SimCLR, to name but a few. With the initial success of these methods, the time has come for a systematic inventory and analysis of the potential self-supervised learning has for the field. This paper provides exactly that. We assess the progress of self-supervised HAR research by introducing a framework that performs a multi-faceted exploration of model performance. We organize the framework into three dimensions, each containing three constituent criteria, such that each dimension captures specific aspects of performance, including the robustness to differing source and target conditions, the influence of dataset characteristics, and the feature space characteristics. We utilize this framework to assess seven state-of-the-art self-supervised methods for HAR, leading to the formulation of insights into the properties of these techniques and to establish their value towards learning representations for diverse scenarios.

연구 동기 및 목표

• 웨어러블 기반 인간 활동 인식(HAR)에서 라벨이 부족한 문제, 특히 헬스케어 및 실생활 환경에서의 도전에 대응하기 위해.
• 표준 사전학습-피니튜닝 프로토콜을 넘어서, HAR 분야에서 현재 자기지도 학습(SSL)의 상태를 체계적으로 평가하기 위해.
• 내성, 데이터셋 영향, 특징 공간 성질을 포함한 다각도 평가 프레임워크를 개발하기 위해.
• 다양한 실생활 조건과 데이터 분포에서 가장 잘 일반화되는 SSL 방법에 대한 실질적인 통찰를 제공하기 위해.
• 향후 웨어러블을 활용한 자기지도 학습 HAR 연구를 위한 표준화된 평가 벤치마크(v1.0)를 구축하기 위해.

제안 방법

• 세 가지 차원으로 구성된 3D 평가 프레임워크를 제안: (1) 소스-타겟 도메인 이동에 대한 내성, (2) 데이터셋 특성(예: 클래스 불균형, 데이터 양)의 영향, (3) 학습된 특징 공간 분석.
• 사전학습-피니튜닝 파라디그마를 활용: 대규모 비라벨 데이터(예: MobiAct)에서 SSL 모델을 사전학습한 후, 하류 작업에서 최소한의 라벨 데이터로 피니튜닝.
• 일곱 가지 최첨단 SSL 방법을 평가: 다중작업 자기지도 학습, 마스킹 재구성, CPC, SimCLR, 오토에인코더 등 단일 가속도계 데이터에서의 성능을 검토.
• 센서 배치, 활동 유형, 참가자 수, 데이터 크기 등에서 다양성을 보이는 아홉 개의 다양한 HAR 벤치마크 데이터셋을 활용해 일반화 능력을 테스트.
• 선형 평가, 암묵적 차원 수 추정, 지도 학습 표현과의 유사도를 통한 특징 공간 성질 분석.
• 소스 도메인의 데이터셋 정규화 통계(평균/분산)를 타겟 도메인에 적용하여 도메인 적응 성과를 평가.

실험 결과

연구 질문

• RQ1 소스와 타겟 도메인이 센서 위치, 활동 유형, 샘플링 속도에서 다를 경우, 자기지도 학습 HAR 방법의 내성은 어떠한가?
• RQ2 클래스 불균형과 데이터 양과 같은 데이터셋 특성이 자기지도 학습 HAR 모델의 성능에 어느 정도 영향을 미치는가?
• RQ3 자기지도 학습 모델이 학습한 표현은 선형 분리 가능성, 암묵적 차원 수, 지도 학습 표현과의 유사성 측면에서 어떻게 비교되는가?
• RQ4 어느 자기지도 학습 방법이 다양한 하류 작업에 걸쳐 가장 일반적이고 이식 가능한 표현을 생성하는가?
• RQ5 소스 데이터셋의 정규화 통계(평균 및 분산)를 타겟 도메인에 적용할 경우 성능 향상에 어떤 영향을 미치는가?

주요 결과

• 자기지도 학습 HAR 방법은 도메인 이동에 대해 강력한 내성을 보이며, 소스와 타겟 데이터가 센서 위치, 활동, 샘플링 속도에서 다를 경우에도 높은 성능 유지.
• 마스킹 재구성 방법이 가장 높은 암묵적 차원 수를 기록하여, 다른 방법에 비해 표현 공간을 더 효율적으로 활용함을 시사.
• 다중작업 자기지도 학습은 가장 일반적인 특징을 학습하여 다양한 하류 작업에 넓은 적용 가능성을 확보.
• 소스 데이터셋에서 극심한 클래스 불균형이 존재하더라도 성능이 안정적으로 유지되며, 균형 잡힌 데이터와 비교해 뚜렷한 성능 저하 없음.
• 소스 데이터셋의 정규화 통계(평균 및 분산)를 타겟 도메인에 적용하면 성능 향상이 뚜렷하게 발생하여, 도메인 정렬의 중요성을 입증.
• SSL 인코더의 초기 네트워크 레이어는 지도 학습 표현과 높은 유사성을 보이며, 깊이가 갈수록 유사도가 감소하고, 가까운 레이어일수록 더 유사한 경향을 보임.