[논문 리뷰] A Deep Learning Method for Complex Human Activity Recognition Using Virtual Wearable Sensors

Fanyi Xiao, Ling Pei외 5명|arXiv (Cornell University)|2020. 03. 04.

Context-Aware Activity Recognition Systems참고 문헌 18인용 수 8

한 줄 요약

이 논문은 AMASS 자세 복원 데이터셋에서 유도된 가상 관성 측정 단위(IMU) 데이터를 사용하여 복잡한 인간 활동 인식을 위한 딥러닝 방법을 제안한다. AMASS에서 유도된 가상 IMU 데이터에 대해 비지도 페널티를 적용하여 컨volutional 신경망(CNN)을 훈련하고, 소규모 실제 IMU 데이터셋(DIP)에서 미세조정함으로써 모델은 실제 데이터에서 91.15%의 정확도를 달성한다. 이는 최소한의 실제 데이터 수집으로 효과적인 도메인 적응을 실현함을 보여준다.

ABSTRACT

Sensor-based human activity recognition (HAR) is now a research hotspot in multiple application areas. With the rise of smart wearable devices equipped with inertial measurement units (IMUs), researchers begin to utilize IMU data for HAR. By employing machine learning algorithms, early IMU-based research for HAR can achieve accurate classification results on traditional classical HAR datasets, containing only simple and repetitive daily activities. However, these datasets rarely display a rich diversity of information in real-scene. In this paper, we propose a novel method based on deep learning for complex HAR in the real-scene. Specially, in the off-line training stage, the AMASS dataset, containing abundant human poses and virtual IMU data, is innovatively adopted for enhancing the variety and diversity. Moreover, a deep convolutional neural network with an unsupervised penalty is proposed to automatically extract the features of AMASS and improve the robustness. In the on-line testing stage, by leveraging advantages of the transfer learning, we obtain the final result by fine-tuning the partial neural network (optimizing the parameters in the fully-connected layers) using the real IMU data. The experimental results show that the proposed method can surprisingly converge in a few iterations and achieve an accuracy of 91.15% on a real IMU dataset, demonstrating the efficiency and effectiveness of the proposed method.

연구 동기 및 목표

• 기존 HAR 데이터셋이 단순하고 반복적인 활동만 포함하고 있으며, 참가자 다양성이 제한적이고 단일 IMU 구성에 국한되어 있다는 한계를 해결하기 위해.
• AMASS 자세 복원 데이터셋에서 유도된 가상 IMU 데이터를 활용하여 실제 IMU 데이터 수집의 비용과 복잡성을 줄이기 위해.
• 가상 데이터에서의 훈련 과정에 비지도 페널티를 도입하여 모델의 강건성과 일반화 능력을 향상시키기 위해.
• 소규모 실제 세계 데이터셋(DIP)에서의 전이 학습과 미세조정을 통해 가상과 실제 IMU 데이터 간의 도메인 갭을 해소하기 위해.
• 다중 운동 활동을 포함하는 복잡한 실생활 HAR 시나리오에서 높은 정확도를 달성하기 위해.

제안 방법

• 이 방법은 3D 인간 운동 캡처에서 유도된 가상 IMU 데이터를 제공하는 AMASS 데이터셋을 사용하여, 특징 학습과 강건성을 향상시키기 위해 비지도 페널티를 적용한 깊이 컨volution 신경망(CNN)을 훈련한다.
• 비지도 페널티는 AMASS에서의 훈련 중에 적용되어 모델이 다양한 인간 자세와 운동 패턴 간의 일반화 능력을 향상시키는 데 기여한다.
• 전이 학습 전략을 적용한다: 사전 훈련된 모델은 실제 IMU 데이터셋(DIP)에서 풀 커펑션 레이어만 업데이트하여 실제 센서 분포에 적응하도록 미세조정된다.
• 입력 데이터는 60Hz에서 60프레임(1초)의 슬라이딩 윈도우로 처리되며, 50% 겹침을 적용하여 머리, 왼쪽 손목, 오른쪽 대퇴부에 위치한 세 개의 IMU에서 유도된 36차원 특징(3D 가속도 및 회전 행렬)을 생성한다.
• 정확도와 F1-스코어를 사용하여 모델을 평가하며, 성능은 AMASS(가상), DIP(실제), 그리고 병합된 훈련/미세조정 설정에서 측정된다.
• 혼동 행렬을 사용하여 복잡한 활동, 특히 다중 하위 운동으로 구성된 활동의 분류 성능를 분석한다.

실험 결과

연구 질문

• RQ1 대규모 자세 복원 데이터셋(AMASS)에서 유도된 가상 IMU 데이터로 훈련된 딥러닝 모델이 실제 인간 활동 인식에 효과적으로 일반화될 수 있는가?
• RQ2 소규모 실제 IMU 데이터셋(DIP)에서의 미세조정이 가상과 실제 센서 데이터 간의 도메인 갭을 얼마나 효과적으로 줄이는가?
• RQ3 가상 데이터에서의 훈련 과정에 비지도 페널티를 포함시키면, 다중 운동 활동과 같은 복잡한 활동에서의 모델 강건성과 분류 정확도가 향상되는가?
• RQ4 대규모 가상 데이터셋에서의 전이 학습을 활용하여 최소한의 실제 데이터 수집으로도 높은 정확도를 달성할 수 있는가?
• RQ5 다양한 하위 운동을 포함하는 활동, 예를 들어 다리를 펴는 동작처럼 운동 변동성이 큰 활동에 대해 모델의 성능는 어떠한가?

주요 결과

• 미세조정 후 실제 DIP 데이터셋에서 91.15%의 정확도를 달성하여 기준 모델보다 뚜렷이 뛰어난 성능을 보였다.
• DIP 데이터셋에서의 미세조정은 가상과 실제 IMU 데이터 간의 성능 격차를 줄였으며, AMASS에서만 훈련된 모델은 DIP에서 50% 미만의 정확도를 기록했다.
• 미세조정 과정에서 모델은 빠르게 수렴하여 20 에포크 내에 뛰어난 성능를 달성했으며, 이는 최소한의 실제 데이터 요구 조건에서도 효율적인 적응을 가능하게 한다.
• 혼동 행렬 분석 결과, 미세조정은 특히 다중 하위 운동으로 구성된 복잡하고 모호한 활동의 분류 성능를 크게 향상시켰다.
• AMASS에서의 훈련 과정에 비지도 페널티가 포함되어 있어, 기준 모델 대비 AMASS와 DIP 양쪽에서 높은 성능를 기록함으로써 더 나은 일반화 능력을 확보했다.
• 이 방법은 자세 복원 데이터셋에서 유도된 대규모 가상 IMU 데이터를 실생활 HAR에 효과적으로 활용할 수 있음을 입증하였으며, 고비용의 실제 데이터 수집에 대한 의존도를 줄일 수 있음을 보여주었다.