[논문 리뷰] Importance of user inputs while using incremental learning to personalize human activity recognition models

Pekka Siirtola, Heli Koskimäki외 1명|arXiv (Cornell University)|2019. 05. 28.

Context-Aware Activity Recognition Systems참고 문헌 8인용 수 4

한 줄 요약

이 논문은 관성 센서 데이터를 사용하여 개인화된 활동 인식 모델을 위한 준감독형 증분 학습 접근법을 제안한다. 사용자는 불확실한 예측에 대해서만 레이블을 부여하며(전체 데이터의 12–26%), 최소한의 사용자 노력으로 감독 학습에 근접한 정확도를 달성한다. 이 방법은 개념 드리프트를 감소시키며, 전체 감독 학습에 비해 오차율이 2%-단위 이내로 유지되어 비감독 및 사용자 독립 모델에 비해 뚜렷한 성능 향상을 보인다.

ABSTRACT

In this study, importance of user inputs is studied in the context of personalizing human activity recognition models using incremental learning. Inertial sensor data from three body positions are used, and the classification is based on Learn++ ensemble method. Three different approaches to update models are compared: non-supervised, semi-supervised and supervised. Non-supervised approach relies fully on predicted labels, supervised fully on user labeled data, and the proposed method for semi-supervised learning, is a combination of these two. In fact, our experiments show that by relying on predicted labels with high confidence, and asking the user to label only uncertain observations (from 12% to 26% of the observations depending on the used base classifier), almost as low error rates can be achieved as by using supervised approach. In fact, the difference was less than 2%-units. Moreover, unlike non-supervised approach, semi-supervised approach does not suffer from drastic concept drift, and thus, the error rate of the non-supervised approach is over 5%-units higher than using semi-supervised approach.

연구 동기 및 목표

• 사용자 피드백을 통합하여 증분 학습에서의 개념 드리프트를 해결하기 위해.
• 관성 센서 데이터를 사용한 모델 개인화에서 레이블링 노력과 인식 정확도 간의 트레이드오프를 평가하기 위해.
• 증분 모델 개인화에서 비감독, 준감독, 감독 학습 접근법을 비교하기 위해.
• 근접한 감독 학습 성능을 달성하기 위해 필요한 최소한의 사용자 입력을 규명하기 위해.
• 기본 분류기 선택과 신뢰도 임계값 설정이 레이블링 효율성과 모델 정확도에 미치는 영향을 평가하기 위해.

제안 방법

• 증분 학습을 위해 Learn++ 앙상블 방법을 사용하여 전체 재학습 없이 온라인 모델 업데이트를 가능하게 한다.
• 예측 신뢰도 점수를 생성하는 데 성능을 평가하기 위해 LDA, QDA, CART 세 가지 기본 분류기를 평가한다.
• 준감독 접근법은 신뢰도가 임계값(0.90 또는 0.95) 이상인 예측을 모델 업데이트 대상으로 선택하고, 불확실한 예측(임계값 이하)은 사용자 레이블링 대상으로 표시한다.
• 사용자 레이블링된 인스턴스는 잘못된 예측를 수정하고 개념 드리프트를 방지하기 위해 사용되며, 이웃한 두 윈도우도 함께 레이블링하여 맥락을 제공한다.
• 이 방법은 스트리밍 데이터 예측과 선택적 인간 피드백을 조합하여 시간이 지남에 따라 모델 정확도를 향상시킨다.
• 9명의 피험자에 대해 복수의 신체 위치(허리, 손목, 팔)에서 수집된 데이터를 사용하여 이류-피험자 제외 교차검증을 수행하고, 균형 잡힌 정확도를 계산한다.

실험 결과

연구 질문

• RQ1 준감독형 증분 학습 접근법은 개인화된 활동 인식에서 사용자 레이블링 노력은 줄이고도 높은 인식 정확도를 유지할 수 있는가?
• RQ2 사용자 레이블링된 불확실한 예측의 포함 여부가 비감독 및 완전 감독 학습 접근법에 비해 모델 성능에 어떤 영향을 미치는가?
• RQ3 사용자 레이블링이 필요한 인스턴스를 신뢰도 기반으로 선택할 때 최적의 임계값은 무엇이며, 이는 기본 분류기에 따라 어떻게 달라지는가?
• RQ4 비감독 증분 학습에 비해 준감독 접근법이 개념 드리프트를 어느 정도 완화하는가?
• RQ5 기본 분류기(LDA, QDA, CART) 선택이 레이블링 효율성과 최종 모델 정확도에 어떤 영향을 미치는가?

주요 결과

• 준감독 접근법은 비감독 접근법의 9.5% 대비 평균 오차율 4.2–4.3%를 기록하여 개념 드리프트의 뚜렷한 완화를 보였다.
• 기본 분류기에 따라 12–26%의 인스턴스만 레이블링함으로써 준감독 방법은 완전 감독 학습에 비해 오차율이 2%-단위 이내로 유지되었다.
• 준감독 방법의 오차율은 항상 비감독 학습보다 낮았으며, 기본 분류기와 신체 위치에 따라 5.7–11.4% 포인트의 격차를 보였다.
• 0.90과 0.95의 임계값 간 유의미한 차이가 없었으며, 둘 다 유사한 레이블링 비율(12–26%)과 모델 성능을 보였다.
• 기본 분류기에 따라 전체 데이터의 25–47%로 레이블 교체 수를 줄였으며, 높은 정확도를 유지하였다.
• 모든 기본 분류기와 신체 위치에서 준감독 방법은 사용자 독립 모델에 비해 오차율 감소 폭이 10% 포인트 이상 높았다.