[논문 리뷰] Seq2Seq RNN based Gait Anomaly Detection from Smartphone Acquired Multimodal Motion Data

Riccardo Bonetto, Mattia Soldan외 3명|arXiv (Cornell University)|2019. 11. 19.

Gait Recognition and Analysis인용 수 5

한 줄 요약

이 논문은 스마트폰을 활용하여 다중 모odal 인ert런셜(가속도계, 자이로스코프) 및 영상 데이터를 캡처함으로써 개별 환자에 특화된 걸음걸이 이상 탐지 시스템을 제안한다. 이는 두 단계로 구성된 딥러닝 아키텍처를 활용한다: 보행 주기에서 비지도 학습을 통해 특징을 추출하는 RNN 기반 Seq2Seq 모델과 이를 이어가는 CNN 분류기로, 테스트 데이터에서 이상 탐지 정확도가 100%에 도달하였으며, SVM 기반 베이스라인을 능가하였다.

ABSTRACT

Smartphones and wearable devices are fast growing technologies that, in conjunction with advances in wireless sensor hardware, are enabling ubiquitous sensing applications. Wearables are suitable for indoor and outdoor scenarios, can be placed on many parts of the human body and can integrate a large number of sensors capable of gathering physiological and behavioral biometric information. Here, we are concerned with gait analysis systems that extract meaningful information from a user's movements to identify anomalies and changes in their walking style. The solution that is put forward is subject-specific, as the designed feature extraction and classification tools are trained on the subject under observation. A smartphone mounted on an ad-hoc made chest support is utilized to gather inertial data and video signals from its built-in sensors and rear-facing camera. The collected video and inertial data are preprocessed, combined and then classified by means of a Recurrent Neural Network (RNN) based Sequence-to-Sequence (Seq2Seq) model, which is used as a feature extractor, and a following Convolutional Neural Network (CNN) classifier. This architecture provides excellent results, being able to correctly assess anomalies in 100% of the cases, for the considered tests, surpassing the performance of support vector machine classifiers.

연구 동기 및 목표

• 일반 소비자용 스마트폰을 활용한 경량이며 비침습적인 걸음걸이 이상 탐지 시스템을 개발하기 위해.
• 저비용의 다중 모달 센서 데이터를 활용하여 운동 기능 장애를 암시하는 미세한 보행 패턴의 이탈을 탐지하는 데 도전하기 위해.
• 개별 환자의 보행 패턴을 학습하여 정상과 비정상 보행을 구분할 수 있는 개별 환자에 특화된 접근 방식을 설계하기 위해.
• 더 나은 일반화 능력과 온라인 적응 가능성 덕분에 기존의 SVM 같은 전통적 분류기보다 우수한 성능을 내기 위해 딥러닝을 활용함으로써 이를 향상시키기 위해.
• 자유 생활 조건에서의 지속적인 건강 모니터링을 가능하게 하기 위해 실시간으로 현장에서 작동할 수 있는 보행 분석을 위한 장치 내 배포를 가능하게 하기 위해.

제안 방법

• 스마트폰을 맞춤형 가슴 지지대에 부착하여 걷는 동안 동기화된 인트런셜(9D: 3D 가속도계, 3D 자이로스코프, 3D 자석계수) 및 영상 데이터를 캡처한다.
• 사전 처리 단계에서는 인트런셜 신호와 영상 신호를 시간적으로 정렬하고 통합된 다중 모달 시퀀스로 융합한다.
• 보행 주기의 잠재적인 시간 동적 특성을 학습하기 위해 비지도 학습 방식으로 Sequence-to-Sequence (Seq2Seq) 순환 신경망(RNN)을 훈련한다.
• RNN은 입력 시퀀스에서 각 보행 주기의 잠재 표현을 생성하는 특징 추출기 역할을 한다.
• RNN이 학습한 특징을 기반으로 정상 및 비정상 보행 패턴을 구분하기 위한 컨볼루션 신경망(CNN) 분류기를 훈련한다.
• 엔드 투 엔드 모델은 최종 분류기의 학습에만 레이블이 부여된 데이터를 사용하며, RNN는 정상 보행 주기 시퀀스에서 복원 손실을 사용하여 사전 훈련한다.

실험 결과

연구 질문

• RQ1 Seq2Seq RNN 기반 아키텍처가 스마트폰에서 확보한 다중 모달 보행 데이터로부터 이상 탐지에 효과적으로 구별 가능한 특징을 추출할 수 있는가?
• RQ2 제안된 두 단계의 딥러닝 모델 성능이 이상 탐지에서 기존의 SVM 같은 전통적 분류기와 비교해 어떻게 되는가?
• RQ3 개별 환자에 특화된 비지도 특징 학습 접근 방식이 완전히 지도 학습 또는 히우리스틱 방법에 비해 탐지 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 제안된 시스템은 소비자용 스마트폰에서 실시간으로 현장에서 작동할 수 있는가?
• RQ5 이상 유형에 대한 사전 지식 없이도 다양한 종류의 보행 이상을 일반화하여 탐지할 수 있는가?

주요 결과

• RNN-Seq2Seq 특징 추출기와 CNN 분류기를 조합한 제안된 두 단계 모델은 보행 이상 탐지에서 테스트 세트에서 100%의 분류 정확도를 달성하였다.
• 기존의 SVM 기반 베이스라인 분류기(98.077% 정확도)보다 성능이 뛰어나며, 정상 주기의 5.8%를 잘못 이상으로 분류하는 보수적인 경향을 보였다.
• RNN 기반의 특징 추출 방법은 보행 시퀀스 내 복잡한 시간적 상관관계를 효과적으로 포착하여 정상과 비정상 패턴 간의 우월한 분류 성능을 달성하였다.
• 이 시스템은 일반 소비자용 스마트폰(예: Asus ZenFone 2)에 배포 가능하여 사용자 설정 없이 실시간으로 현장에서 작동할 수 있다.
• 정상 보행 주기 시퀀스에서 RNN의 비지도 사전 훈련은 큰 규모의 레이블이 부여된 이상 데이터에 대한 의존도를 감소시켜 실생활 배포의 실용성을 향상시켰다.
• 이 아키텍처는 웨어러블 기반 보행 분석에서 흔히 발생하는 센서 방향의 변동성과 노이즈에 대해 뛰어난 강건성을 보였다.