[논문 리뷰] Personalized Human Activity Recognition Using Convolutional Neural Networks

Seyed Ali Rokni, Marjan Nourollahi외 1명|arXiv (Cornell University)|2018. 01. 25.

Context-Aware Activity Recognition Systems인용 수 11

한 줄 요약

이 논문은 최소한의 사용자 레이블 데이터를 사용하여 개인화된 활동 인식을 위한 전이 학습 프레임워크를 제안한다. 소스 그룹에서 훈련된 낮은 층의 1D 컨볼루션 신경망(CNN)을 고정하고, 새로운 사용자로부터 몇 개의 레이블된 인스턴스로만 분류층을 미세조정함으로써, 제한된 감독 하에서도 높은 정확도를 달성하며, 전이 학습 기반의 기존 분류기들보다 교차 사용자 환경에서 훨씬 뛰어난 성능을 보인다.

ABSTRACT

A major barrier to the personalized Human Activity Recognition using wearable sensors is that the performance of the recognition model drops significantly upon adoption of the system by new users or changes in physical/ behavioral status of users. Therefore, the model needs to be retrained by collecting new labeled data in the new context. In this study, we develop a transfer learning framework using convolutional neural networks to build a personalized activity recognition model with minimal user supervision.

연구 동기 및 목표

• 새로운 사용자에 적용하거나 신체적/행동적 조건이 변화할 때 성능 저하가 발생하는 HAR 모델의 문제를 해결한다.
• 새로운 사용자에 대한 비용이 많이 드는 수동 데이터 레이블링과 특징 공학을 줄이기 위해 최소한의 인간 감독을 가능하게 한다.
• 소스 도메인에서 사전 훈련된 표현을 활용하여 빠르게 새로운 사용자(타겟 도메인)에 적응할 수 있는 개인화된 HAR 시스템을 개발한다.
• 전이 학습을 통해 1D CNN이 새로운 사용자에 대해 몇 개의 레이블 샘플만으로도 높은 정확도를 유지할 수 있음을 입증한다.
• 표현 학습과 파rameter 공유를 통해 모델 복잡도를 줄여 임베디드 장치에 효율적으로 배포할 수 있도록 한다.

제안 방법

• 3D 가속도계 데이터를 고정된 크기의 윈도우(w)로 분할하여 각 센서에 대해 3채널 입력을 구성하고, SDA 데이터셋에서 5개의 센서를 조합하면 15채널이 된다.
• 작은 신호 변동과 센서 校정 오차에 대한 민감도를 줄이고 도메인 일반화 능력을 향상시키기 위해 이산화 레이어를 적용한다.
• 이산화된 시퀀스를 임베딩 레이어를 통해 전역적으로 공유되는 압축된 표현으로 변환한다.
• ReLU 활성화 함수와 최대 풀링을 사용한 1D 컨볼루션 레이어 스택을 통해 계층적이고 척도에 불변인 특징을 추출하면서 차원을 감소시킨다.
• 새로운 사용자에 대한 미세조정 과정에서 과적합을 방지하기 위해 드롭아웃 정규화를 적용한다.
• 전이 컨볼루션(TrC) 방법을 구현: 사전 훈련된 네트워크의 모든 낮은 층을 고정하고, 새로운 사용자로부터 활동당 3개의 레이블된 인스턴스를 사용해 유일하게 최종 분류층만 미세조정한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN 모델을 새로운 사용자로부터 몇 개의 레이블된 인스턴스만으로 효과적으로 미세조정하여 높은 활동 인식 정확도를 달성할 수 있는가?
• RQ2 제안된 전이 학습 접근법은 기존의 기계 학습 분류기들(예: SVM, 랜덤 포레스트)과 비교해 교차 사용자 HAR 환경에서 어떻게 성능을 냈는가?
• RQ3 이산화 및 임베딩를 통한 표현 학습이 다양한 사용자와 센서 校정 오차 간의 모델 강인성에 어느 정도 기여하는가?
• RQ4 소스 사용자 그룹에서 훈련된 낮은 컨볼루션 레이어의 특징을 전이하면, 최소한의 데이터로 새로운 타겟 사용자에서 성능 향상이 이루어지는가?
• RQ5 재학습 없이도 제어되지 않은 실제 환경에서도 모델이 높은 성능을 유지할 수 있는가?

주요 결과

• 제안된 전이 컨볼루션(TrC) 방법은 활동당 3개의 레이블된 인스턴스만으로도 새로운 사용자에서 활동 인식 정확도를 크게 향상시키며, 기존 분류기들을 능가한다.
• 전이 학습을 통해 새로운 사용자의 데이터 분포가 소스 그룹의 훈련 분포와 다를 경우에도 높은 정확도를 달성한다.
• 이산화 및 임베딩 레이어의 조합은 센서 校정 오차와 작은 신호 변동에 대한 민감도를 감소시켜 사용자 간 일반화 능력을 향상시킨다.
• SDA 및 WISDM 데이터셋에서의 모든 리브 올-서브젝트 아웃 평가에서 TrC 방법의 성능은 안정적이며, 강인성과 확장성을 입증한다.
• 낮은 층은 고정하고 분류층만 미세조정함으로써 일반적인 특징을 유지하며, 최소한의 계산 비용으로 효율적인 적응이 가능하다.
• 광범위한 데이터 수집과 수동 특징 공학의 필요성을 줄여 실제 환경에서 개인화된 HAR 시스템의 빠른 배포를 가능하게 한다.