[논문 리뷰] Personalizing Smartwatch Based Activity Recognition Using Transfer Learning

Karanpreet Singh, Rajen B. Bhatt|arXiv (Cornell University)|2019. 09. 03.

Context-Aware Activity Recognition Systems참고 문헌 12인용 수 4

한 줄 요약

이 논문은 사전에 훈련된 기울기 부스팅 기반 모델(GBM)을 최소한의 사용자 특화 데이터로 현장에서 미세조정하는 전이학습 접근법을 제안한다. 이는 재훈련 없이 스마트워치 기반 활동 인식 정확도를 향상시키며, 사용자 수준의 개인화를 향상시킨다. 이 방법은 한 데이터셋에서 오차율을 최대 50% 감소시키고 F1 스코어를 0.9456에서 0.9758로 높이며, 기초 성능이 낮은 사용자에게서 특히 두드러진 성능 향상을 이룬다.

ABSTRACT

Smartwatches are increasingly being used to recognize human daily life activities. These devices may employ different kind of machine learning (ML) solutions. One of such ML models is Gradient Boosting Machine (GBM) which has shown an excellent performance in the literature. The GBM can be trained on available data set before it is deployed on any device. However, this data set may not represent every kind of human behavior in real life. For example, a ML model to detect elder and young persons running activity may give different results because of differences in their activity patterns. This may result in decrease in the accuracy of activity recognition. Therefore, a transfer learning based method is proposed in which user-specific performance can be improved significantly by doing on-device calibration of GBM by just tuning its parameters without retraining its estimators. Results show that this method can significantly improve the user-based accuracy for activity recognition.

연구 동기 및 목표

• 특정 사용자, 특히 어르신, 어린이, 이질적인 운동 패tern을 보이는 환자들에서 스마트워치 기반 활동 인식의 정확도가 낮은 문제를 해결한다.
• 다양한 데이터셋에서 훈련된 일반 모델이 개인의 행동 차이를 포착하지 못하는 한계를 극복한다.
• 재훈련을 피하고 데이터 수집 부담을 줄이며, 민감하거나 수집이 어려운 집단을 대상으로 경량의 현장 내 개인화 방법을 개발한다.
• 사전에 훈련된 GBM의 파라미터 튜닝을 통해 소량의 레이블이 부여된 사용자 데이터만으로도 사용자별 인식 정확도를 향상시킨다.

제안 방법

• 스마트워치 센서 데이터(가속도계 및 자이로스코프)의 대규모이고 다양한 데이터셋에서 일반 목적의 GBM 모델을 훈련시켜 기준 모델을 확립한다.
• 소량의 사용자 특화 레이블 데이터를 사용하여 현장 내 전이학습을 통해 GBM의 최종 예측 가중치만을 미세조정한다(에스티메이터는 재훈련하지 않는다).
• 각 약한 학습기의 기여도를 조정하여 GBM의 출력 점수를 최적화하는 하이퍼파라미터 튜닝 전략을 적용한다.
• 일반화 능력과 강건성을 확보하기 위해 개인화 성능 평가를 위해 일인 제외 교차검증 프레임워크를 활용한다.
• GBM의 순차적 부스팅 메커니즘을 활용해 사용자 특화 데이터에서 오차를 반복적으로 수정함으로써 클래스별 정확도를 향상시킨다.
• 개인정보 보호 및 계산 오버헤드 감소를 위해 현장에서 이 방법을 구현하여 실시간 개인화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 재훈련 없이 사전에 훈련된 GBM의 현장 내 하이퍼파라미터 튜닝이 개인 사용자의 활동 인식 정확도를 상당히 향상시킬 수 있는가?
• RQ2 일반 데이터로 훈련된 기준 GBM과 비교해 제안된 방법이 오차율을 얼마나 감소시키는가?
• RQ3 특히 '자전거 타기' 또는 '걷기'와 같은 어려운 활동 클래스에서 기초 성능이 낮은 사용자에게 이 방법이 얼마나 효과적인가?
• RQ4 특히 데이터 확보가 어려운 집단을 대상으로 소량의 사용자 특화 데이터만으로도 의미 있는 성능 향상을 달성할 수 있는가?
• RQ5 이 방법은 다수의 주제와 활동 클래스에서 F1 스코어와 AUC를 유지하거나 향상시키는가?

주요 결과

• 튜닝된 GBM은 주제 #7의 '걷기' 클래스에서 오차율을 50.2% 상대적으로 감소시켰으며, 정확도를 73.65%에서 94.80%로 높였다.
• 데이터셋 I에서 전체 F1 스코어는 기준치인 0.9456에서 튜닝 후 0.9758로 3.2%의 절대 증가를 보였다.
• 데이터셋 II에서는 전체 F1 스코어가 0.9307에서 0.9619로 상승했으며, 주제 #7의 경우 F1 스코어가 0.8117에서 0.9671로 급격히 향상되었다.
• 주제 #7의 '자전거 타기' 클래스에 대한 AUC는 튜닝 후 0.886에서 0.982로 상승하여 분류 성능이 크게 향상됨을 보였다.
• 주제 #8의 '자전거 타기' 클래스 정확도는 기준 모델의 83.00%에서 90.79%로 상승하여 일관된 성능 향상을 보였다.
• 튜닝 후 '자전거 타기' 클래스 정확도는 96.30%로, 기준 모델의 90.14%보다 높아졌으며, '걷기' 클래스는 97.57%로 기준치 94.20%를 상회했다.