[논문 리뷰] Personalizing human activity recognition models using incremental learning

Pekka Siirtola, Heli Koskimäki외 1명|arXiv (Cornell University)|2019. 05. 29.

Context-Aware Activity Recognition Systems참고 문헌 9인용 수 12

한 줄 요약

이 논문은 사용자 중단 없이 스마트폰 관성 센서 데이터로부터 인간 활동 인식(HAR) 모델을 개인화하기 위한 증분 학습 접근법을 제안한다. 소량의 개인 스트리밍 데이터로 사용자 독립 모델을 업데이트함으로써, 특히 기초 분류기로 선형 판별 분석(LDA)을 사용할 경우 분류 정확도가 크게 향상되며, 초기 모델 대비 4.6个百分点 향상된다.

ABSTRACT

In this study, the aim is to personalize inertial sensor data-based human activity recognition models using incremental learning. At first, the recognition is based on user-independent model. However, when personal streaming data becomes available, the incremental learning-based recognition model can be updated, and therefore personalized, based on the data without user-interruption. The used incremental learning algorithm is Learn++ which is an ensemble method that can use any classifier as a base classifier. In fact, study compares three different base classifiers: linear discriminant analysis (LDA), quadratic discriminant analysis (QDA) and classification and regression tree (CART). Experiments are based on publicly open data set and they show that already a small personal training data set can improve the classification accuracy. Improvement using LDA as base classifier is 4.6 percentage units, using QDA 2.0 percentage units, and 2.3 percentage units using CART. However, if the user-independent model used in the first phase of the recognition process is not accurate enough, personalization cannot improve recognition accuracy.

연구 동기 및 목표

• 개별 사용자에게 맞는 HAR 모델을 개인화하기 위한 도전 과제를 해결하기 위해, 별도로 광범위한 데이터 수집 세션을 요구하지 않는 방법을 제시하기 위해.
• 스마트폰 관성 센서에서 유량되는 데이터를 이용해 사용자 중단 없이 실시간으로 모델을 개인화할 수 있도록 하기 위해.
• LDA, QDA, CART와 같은 다양한 기초 분류기(기초 분류기)를 사용한 증분 학습(Learn++)의 효과를 평가하여 HAR 정확도 향상 여부를 검토하기 위해.
• 사용자 독립 모델의 정확도가 떨어지는 한계를 극복할 수 있는지 여부를 조사하기 위해.

제안 방법

• 이 방법은 Learn++ 증분 학습 알고리즘을 사용하며, 들어오는 데이터를 조각 단위로 처리하고, 가중치를 적용한 다수결 투표를 통해 새로운 약한 기초 모델과 이전에 학습된 모델을 동적으로 통합한다.
• 사용자 독립 모델은 먼저 여덟 명의 피험자 데이터를 사용하여 한 명을 제외한 방식(leave-one-out)으로 학습한 후, 아홉 번째 피험자의 스트리밍 데이터를 레이블링하여 개인화에 활용한다.
• 각 개인의 레이블이 붙은 스트리밍 데이터를 사용해 개인화 모델을 증분적으로 업데이트하며, 각 새로운 기초 모델은 개인 데이터의 무작위 표본에서 학습된다.
• 선형 판별 분석(LDA), 이차 판별 분석(QDA), 분류 및 회귀 트리(CART)의 세 가지 기초 분류기를 사용해 그 성능을 평가한다.
• 3D 가속도계 및 자이로스코프 신호에서 특징을 추출하며, 시간 도메인 통계, 백분위수 기반 특징, 주파수 도메인 성분을 포함하여 윈도우당 총 244개의 특징이 생성된다.
• 4.2초의 슬라이딩 윈도우와 1.4초의 겹침을 사용해 데이터를 세분화하며, 개인화 이전에 각 윈도우는 사용자 독립 모델을 사용해 레이블링된다.

실험 결과

연구 질문

• RQ1 소량의 개인 스트리밍 데이터만을 사용해 Learn++를 통한 증분 학습이 HAR 모델을 효과적으로 개인화할 수 있는가?
• RQ2 기초 분류기(LDA, QDA, CART)의 선택이 개인화된 HAR 모델의 성능 향상에 어떤 영향을 미치는가?
• RQ3 증분 학습을 사용함에도 불구하고 정확도 향상이 이루어지지 않는 조건은 무엇인가?
• RQ4 초기 사용자 독립 모델이 정확도가 떨어질 경우 개인화가 얼마나 정확도 향상에 기여할 수 있는가?

주요 결과

• Learn++ 앙상블에서 LDA를 기초 분류기로 사용할 경우 분류 정확도 향상이 가장 높았으며, 사용자 독립 모델 대비 오차율이 4.6个百分点 감소했다.
• QDA 기반 개인화는 정확도를 2.0个百分点 향상시켰고, CART 기반 개인화는 2.3个百分点 향상시켰다.
• 모든 피험자에 대한 평균 오차율은 사용자 독립 모델의 14.1%에서 LDA 기반 Learn++의 9.5%로 감소하여 상대적 향상률이 33.1%에 이르렀다.
• 특정 피험자들(예: CART를 사용한 피험자 3번과 6번)의 경우 초기 사용자 독립 모델이 일부 활동 클래스를 신뢰성 있게 분류하지 못해 개인화가 오차율을 감소시키지 못했다.
• 결과적으로, 초기 사용자 독립 모델의 정확도가 충분히 높지 않으면 개인화가 효과가 없으며, 잘못된 레이블이 개인화 단계로 퍼져나가는 것으로 나타났다.
• 각 활동에 대해 단 3분의 개인 데이터만으로도 상당한 정확도 향상이 이루어졌으며, 더 큰, 장기적인 개인 데이터셋이 제공된다면 향상 가능성이 더 클 것으로 보인다.