[논문 리뷰] Human activity recognition from mobile inertial sensors using recurrence plots

Otávio A. B. Penatti, Milton F. S. Santos|arXiv (Cornell University)|2017. 12. 05.

Context-Aware Activity Recognition Systems참고 문헌 1인용 수 5

한 줄 요약

이 논문은 모바일 관성 센서 데이터에서 유도된 반복 그림자(RPs)를 사용하여 인간 활동 인식(HAR)을 위한 새로운 방법을 제안한다. 센서 분류 문제를 시각적 기술자에 기반한 질감 분류 문제로 변환함으로써, RGB RPs(각 색상 채널이 가속도계 축을 나타냄)를 사용하고, 시각적 단어의 망점(BoVW) 및 RGB SIFT 기술자를 조합함으로써 기존의 시간 및 주파수 도메인 특징보다 뛰어난 성능을 달성한 상태의 최고(SOTA) 정확도를 확보한다.

ABSTRACT

Inertial sensors are present in most mobile devices nowadays and such devices are used by people during most of their daily activities. In this paper, we present an approach for human activity recognition based on inertial sensors by employing recurrence plots (RP) and visual descriptors. The pipeline of the proposed approach is the following: compute RPs from sensor data, compute visual features from RPs and use them in a machine learning protocol. As RPs generate texture visual patterns, we transform the problem of sensor data classification to a problem of texture classification. Experiments for classifying human activities based on accelerometer data showed that the proposed approach obtains the highest accuracies, outperforming time- and frequency-domain features directly extracted from sensor data. The best results are obtained when using RGB RPs, in which each RGB channel corresponds to the RP of an independent accelerometer axis.

연구 동기 및 목표

• 모바일 관성 센서 데이터로부터 인간 활동을 정확하게 인식하기 위한 도구로, 역동적 패턴을 포착하는 새로운 표현 방식을 제안한다.
• 반복 그림자(RPs)가 관성 센서 시계열 데이터를 질감 패턴으로 효과적으로 표현할 수 있는지 탐색한다.
• 특히 시각적 단어의 망점(BoVW)과 SIFT 기반 기술자 조합이 반복 그림자(RPs)에 적용되었을 때 인간 활동 인식 성능에 미치는 영향을 평가한다.
• 기존의 시간 도메인 및 주파수 도메인 특징 추출 기법과 비교하여 제안된 RP 기반 방법의 정확도 및 강인성에 대해 평가한다.
• 유사한 인간 활동을 구분하는 데 가장 효과적인 RP 설정(예: Grayscale 대비 RGB)과 특징 인코딩 전략(예: 공간 피라미드)을 규명한다.

제안 방법

• 원시 가속도계 시계열 데이터에서 반복 그림자(RPs)를 계산하여, 동적 시스템의 반복 성질을 질감 패턴을 가진 2차원 이미지로 표현한다.
• 각 가속도계 축(x, y, z)을 별도의 색상 채널에 할당하여 RGB RPs를 생성함으로써 다차원 센서 정보를 하나의 이미지에 유지한다.
• 반복 그림자에서 RGB SIFT(Scale-Invariant Feature Transform)를 사용하여 국소 질감 특징을 추출하여 시각적 특징을 확보한다.
• 공간 피라미드 매칭(SPM)과 최대 풀링을 적용하여 시각적 특징의 공간 레이아웃을 인코딩함으로써 유사 활동 간의 구분 능력을 향상시킨다.
• 1000개의 시각적 코드북 클러스터를 사용한 시각적 단어의 망점(BoVW)을 적용하여 RPs를 기계 학습 분류를 위한 히스토그램으로 표현한다.
• 기계 학습 분류기(예: SVM)를 BoVW로 인코딩된 특징에 대해 훈련 및 평가하여 가속도계 데이터로부터 12개의 인간 활동을 분류한다.

실험 결과

연구 질문

• RQ1 반복 그림자(RPs)가 관성 센서 시계열 데이터를 질감 이미지로 효과적으로 변환하여 인간 활동 인식 정확도를 향상시킬 수 있는가?
• RQ2 각 색상 채널이 가속도계 축에 해당하는 RGB RPs를 사용할 경우, 회색조 RPs나 연결된 RPs보다 더 높은 성능을 내는가?
• RQ3 BoVW와 RGB SIFT, 공간 피라미드 풀링의 조합이 기존의 시간 도메인 및 주파수 도메인 특징 추출 기법보다 어떻게 우월한가?
• RQ4 어느 인간 활동이 가장 구분하기 어려운지, 특히 '의자에 앉기'와 '의자에서 일어나기'와 같은 유사 활동 간의 혼동을 제안된 방법이 줄이는가?
• RQ5 제안된 RP 기반 시각적 기술자 접근법이 기준 방법보다 통계적으로 유의미한 성능 향상을 보이는가?

주요 결과

• RGB RPs와 BoVW를 사용한 제안된 방법이 평가된 모든 방법 중에서 가장 높은 분류 정확도를 달성했다.
• RP-RGB $BoVW^{1000}_{RGBSIFT}$ 방법은 시간 도메인(분위수) 및 주파수 도메인(FFT bands) 기반 베이스라인보다 유의미하게 높은 성능을 보였으며, 모든 클래스에서 유의미한 향상(p < 0.05)을 보였다.
• 혼동 행렬 분석 결과, '의자에 앉기'와 '의자에서 일어나기'는 가장 구분하기 어려운 활동 쌍으로 나타나 가장 높은 오분류 비율을 보였다. 심지어 최고 성능를 보인 방법조차도 이에 대해 어려움을 겪었다.
• '양치질', '머리 빗기', '전화 사용' 등의 활동은 훈련 샘플 수가 적었음에도 불구하고 가장 쉽게 분류되었으며, 이는 제한된 데이터에도 불구하고 강인함을 시사한다.
• BoVW 프레임워크에 공간 피라미드를 도입함으로써 RPs 내 질감 패턴의 공간 배치를 인코딩함으로써 유사 활동 간의 구분 능력이 향상되었다.
• 쌍체적 통계 검정을 통해 $BoVW^{1000}_{RGBSIFT}$가 RGB RPs에 적용되었을 때 모든 다른 방법보다 뛰어난 성능을 보였으며, 성능 차이에 대한 95% 신뢰구간이 모두 0 이상이었다.