[논문 리뷰] Transfer Learning for Human Activity Recognition using Representational Analysis of Neural Networks

Sizhe An, Ganapati Bhat외 2명|arXiv (Cornell University)|2020. 12. 05.

Context-Aware Activity Recognition Systems참고 문헌 45인용 수 10

한 줄 요약

이 논문은 인간 활동 인식(HAR)을 위한 전이 학습 프레임워크를 제안하며, 합성곱 신경망(CNN)의 표현 분석을 활용하여 사용자 간 공통으로 쓸 수 있는 특징을 식별한다. 초기에 일반화 가능한 CNN 레이어를 전이하고, 깊이 있는 사용자 맞춤형 레이어만 미세조정함으로써, 처음부터 학습하는 것에 비해 최대 43% 높은 정확도와 66% 빠른 학습 속도를 달성하며, 모바일 하드웨어에서 에너지 소비는 68% 낮춘다.

ABSTRACT

Human activity recognition (HAR) research has increased in recent years due to its applications in mobile health monitoring, activity recognition, and patient rehabilitation. The typical approach is training a HAR classifier offline with known users and then using the same classifier for new users. However, the accuracy for new users can be low with this approach if their activity patterns are different than those in the training data. At the same time, training from scratch for new users is not feasible for mobile applications due to the high computational cost and training time. To address this issue, we propose a HAR transfer learning framework with two components. First, a representational analysis reveals common features that can transfer across users and user-specific features that need to be customized. Using this insight, we transfer the reusable portion of the offline classifier to new users and fine-tune only the rest. Our experiments with five datasets show up to 43% accuracy improvement and 66% training time reduction when compared to the baseline without using transfer learning. Furthermore, measurements on the Nvidia Jetson Xavier-NX hardware platform reveal that the power and energy consumption decrease by 43% and 68%, respectively, while achieving the same or higher accuracy as training from scratch.

연구 동기 및 목표

• 개개인의 활동 패턴 차이로 인해 새로운 사용자에 대해 HAR 정확도가 낮아지는 문제를 해결하기 위해.
• 모바일 및 웨어러블 기기에서 HAR 분류기를 처음부터 학습할 경우 발생하는 높은 계산 비용과 에너지 소비를 줄이기 위해.
• 사전 학습된 CNN의 어떤 부분이 사용자 간 전이 가능하고, 어떤 부분은 개인 맞춤화를 위해 미세조정이 필요한지 식별하기 위해.
• 실제 하드웨어 배포 조건에서 다양한 공개 HAR 데이터셋을 대상으로 제안된 전이 학습 접근법을 검증하기 위해.
• 체계적인 표현 분석을 통해 정확도, 학습 시간, 에너지 효율성 향상에 있어 뚜렷한 개선 효과를 입증하기 위해.

제안 방법

• 다른 사용자 클러스터에서 학습된 CNN 레이어의 특징 표현 간 유사도를 측정하기 위해 정규화 상관 분석(cca)을 수행한다.
• 초기 CNN 레이어가 사용자 간 공통으로 쓸 수 있는 일반화 가능한 특징을 담고 있으며, 깊이 있는 레이어는 사용자 특화된 패턴을 포착한다는 것을 확인한다.
• 사전 학습된 분류기의 초기 공유 레이어 가중치를 신규 사용자에게 전이하고, 깊이 있는 분류용 레이어만 미세조정한다.
• 랜덤 및 k-means 클러스터링을 활용해 사용자 클러스터를 구성하여, 다섯 개인 공개 HAR 데이터셋(w-HAR, UCI-HAR, WISDM, UCI-HAPT, UniMiB)에서 모델을 학습한다.
• 실제 전력 소비 및 에너지 소비 측정을 위해 Nvidia Jetson Xavier NX 보드에 프레임워크를 구현한다.
• 4명의 사용자 클러스터(4 UCs)와 4가지의 미세조정 설정(1개 또는 2개 레이어)을 활용해 성능 트레이드오프를 평가한다.

Figure 1. Comparison of stretch sensor (O’Brien et al . , 2014 ) data of four users for a single step during walk. There is a significant change in both the range of values and data pattern. The grey dashed lines show different instances of the same activity, while the red line shows a representativ

실험 결과

연구 질문

• RQ1 사전 학습된 CNN의 어떤 레이어가 HAR에서 다양한 사용자 간 일반화 가능한 특징을 포함하고 있는가?
• RQ2 초기 CNN 레이어를 전이함으로써 신규 사용자에 대한 학습 시간과 에너지 소비를 얼마나 줄일 수 있는가?
• RQ3 깊이 있는 레이어만 미세조정할 경우, 처음부터 학습하는 것에 비해 분류 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 전이 학습 접근법은 모바일 하드웨어에서 계산 비용과 에너지 소비를 줄이면서도 정확도를 유지하거나 향상시킬 수 있는가?
• RQ5 다양한 HAR 데이터셋에서 사용자 활동 패턴이 다를 경우, 전이 학습 프레임워크의 성능은 어떻게 변화하는가?

주요 결과

• 제안된 전이 학습 접근법은 처음부터 학습하는 것에 비해 최대 43% 높은 정확도를 달성했으며, 데이터셋 평균으로는 14% 향상되었다.
• 깊이 있는 레이어만 미세조정할 경우, 처음부터 재학습하는 것에 비해 학습 시간이 최대 66% 감소했다.
• 에너지 소비는 평균 68% 감소했으며, 데이터셋 간 범위는 47%에서 68%까지 다양했고, 전체 재학습의 정확도를 유지하거나 초월했다.
• 전력 소비는 데이터셋 간 21%에서 43%까지 감소했으며, UCI-HAR 및 WISDM 데이터셋에서 가장 높은 절감 효과를 보였다.
• CCA를 통한 표현 분석 결과, 초기 CNN 레이어는 사용자 간 일반화 가능한 특징을 학습하는 반면, 깊이 있는 레이어는 사용자 특화된 활동 패턴을 포착한다는 것이 확인되었다.
• Nvidia Jetson Xavier NX에서의 하드웨어 측정 결과, 전이 학습 프레임워크가 저전력 모바일 플랫폼에서 효율적으로 구현 가능하다는 것이 입증되었다.

Figure 2. Overview of the transfer learning approach for HAR