[논문 리뷰] CHARM: A Hierarchical Deep Learning Model for Classification of Complex Human Activities Using Motion Sensors

Eric Rosen, Doruk Senkal|arXiv (Cornell University)|2022. 07. 16.

Context-Aware Activity Recognition Systems인용 수 5

한 줄 요약

CHARM는 웨어러블 관성 측정 장치(IMU) 데이터를 사용하여 복잡한 고수준 인간 활동(예: 식사 준비, 청소 작업 등)을 분류하는 이중 단계 계층적 딥러닝 모델이다. 고수준 레이블만으로 엔드 투 엔드 학습을 통해 최신 기술 수준의 성능를 달성하며, 별도의 명시적 저수준 애너테이션 없이 의미 있는 저수준 운동 표현(예: 걷기, 잡기, 자르기 등)을 자동으로 학습한다.

ABSTRACT

In this paper, we report a hierarchical deep learning model for classification of complex human activities using motion sensors. In contrast to traditional Human Activity Recognition (HAR) models used for event-based activity recognition, such as step counting, fall detection, and gesture identification, this new deep learning model, which we refer to as CHARM (Complex Human Activity Recognition Model), is aimed for recognition of high-level human activities that are composed of multiple different low-level activities in a non-deterministic sequence, such as meal preparation, house chores, and daily routines. CHARM not only quantitatively outperforms state-of-the-art supervised learning approaches for high-level activity recognition in terms of average accuracy and F1 scores, but also automatically learns to recognize low-level activities, such as manipulation gestures and locomotion modes, without any explicit labels for such activities. This opens new avenues for Human-Machine Interaction (HMI) modalities using wearable sensors, where the user can choose to associate an automated task with a high-level activity, such as controlling home automation (e.g., robotic vacuum cleaners, lights, and thermostats) or presenting contextually relevant information at the right time (e.g., reminders, status updates, and weather/news reports). In addition, the ability to learn low-level user activities when trained using only high-level activity labels may pave the way to semi-supervised learning of HAR tasks that are inherently difficult to label.

연구 동기 및 목표

• 웨어러블 센서를 이용해 변동적인 저수준 동작 조합으로 구성된 복잡한 고수준 인간 활동을 인식하는 도전 과제를 해결한다.
• 실세계 환경에서 저수준 활동을 애너테이션하는 데 드는 높은 비용과 어려움을 극복하기 위해 고수준 활동 레이블에서 운동 패턴을 자율학습할 수 있도록 한다.
• 고수준 활동 탐지 기반의 맥락 인식 자동화 및 지능형 알림과 같은 새로운 인간-기계 상호작용(HMI) 응용을 가능하게 한다.
• 고수준 레이블만으로 엔드 투 엔드 학습을 수행할 경우 의미 있는 분리된 저수준 운동 행동 표현을 얻을 수 있는지 탐구한다.
• 딥 네트워크가 해당 패턴에 대한 명시적 감독 없이도 의미 있는 운동 패턴(예: 조작 제스처, 이동 방식 등)을 구분할 수 있는지 입증한다.

제안 방법

• 저수준 신경 인코더가 짧은 시간 윈도우의 IMU 데이터를 압축된 특징 벡터로 처리하는 이중 단계 신경망 아키텍처를 제안한다.
• 저수준 인코더의 출력을 시간에 따라 스트라이드된 시간 샘플링으로 집계하여 장기 시퀀스 활동 시퀀스를 분류하는 고수준 인코더를 사용한다.
• 고수준 활동 분류 정확도를 최적화하기 위해 고수준 활동 레이블(예: '아침 루틴', '점심')만을 사용해 전체 모델을 엔드 투 엔드로 학습시킨다.
• 계층적 구조를 활용해 저수준 인코더는 국소적 운동 패턴(초 단위)에 집중하고, 고수준 인코더는 장기적 시간적 의존성(분 단위)을 포착하도록 한다.
• 해석 가능성 및 군집 분석을 위해 학습된 저수준 특징 표현을 시각화하고 분석하기 위해 주성분 분석(PCA)을 적용한다.
• 임베딩 공간에서의 정성적 군집 분석을 통해 의미적으로 유사한 저수준 활동(예: '자르기', '바르기')이 어떤 감독 없이도 함께 군집되어 있는지 평가한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 저수준 동작(예: 걷기, 잡기, 자르기 등)에 대한 명시적 애너테이션 없이도 고수준 활동 인식을 위해 의미 있는 저수준 운동 표현을 학습할 수 있는가?
• RQ2 CHARM의 계층적 아키텍처가 기존의 감독 기반 HAR 모델에 비해 장기적, 복잡한 인간 활동 분류에서 더 뛰어난 성능을 발휘하는가?
• RQ3 CHARM의 임베딩 공간에서 학습된 저수준 표현이 운동 패턴 간의 의미적 유사성을 군집 행동을 통해 어느 정도 반영하는가?
• RQ4 고수준 레이블만으로 학습했을 때, 다양한 고수준 활동 클래스 간에 모델의 성능가 어떻게 변하는가?
• RQ5 임베딩 공간에서 유사한 저수준 제스처(예: '자르기', '바르기')를 군집화할 수 있는 모델의 능력을 활용해 이벤트 기반 HAR 작업의 전이 학습에 활용할 수 있는가?

주요 결과

• CHARM는 OPPORTUNITY 데이터셋에서 기존 감독 기반 방법에 비해 평균 정확도 및 F1 스코어 모두 최신 기술 수준의 성능를 기록하며 고수준 활동 인식에서 최고 성능를 달성한다.
• 저수준 신경 인코더는 '자르기', '바르기', '물 마시기'와 같은 다양한 조작 제스처에 대해 임베딩 공간에서 명확한 군집을 형성함으로써 감독 없이도 의미 있는 군집화가 이루어짐을 보여준다.
• '서기', '걷기', '앉기', '누워서 쉬기' 등의 이동 행동 역시 명확한 군집을 형성하지만, 센서의 한계와 활동 시퀀스 내에서의 맥락 유사성으로 인해 더 높은 겹침이 존재한다.
• 임베딩 공간에서 군집 간 거리가 동일한 고수준 활동에 함께 나타나는 운동 패턴의 공존 빈도와 상관관계가 있다. 예를 들어, '자르기'와 '바르기'는 '점심'과 '커피 타임' 모두에서 흔히 나타나므로 서로 가까이 있다.
• 학습 중에 저수준 레이블이 제공되지 않더라도 모델이 고수준 분류를 위해 유용한 신호로 저수준 운동 패턴을 성공적으로 학습함을 확인했다.
• PCA를 통한 정성적 분석을 통해 학습된 표현이 의미적으로 유의미하며 인간 운동 행동의 功能적 유사성을 반영함을 확인하여, HAR에서 자율학습의 가능성을 뒷받침한다.