[논문 리뷰] Deep Learning-Based Gait Recognition Using Smartphones in the Wild

Qin Zou, Yanling Wang외 3명|arXiv (Cornell University)|2018. 11. 01.

Gait Recognition and Analysis참고 문헌 98인용 수 34

한 줄 요약

이 논문은 실내외 제약 조건이 없는 환경에서 스마트폰 관성 센서를 이용한 딥러닝 기반의 걸음걸이 인식 시스템을 제안한다. 가속도계 및 자이로스코프 데이터로부터 시공간적 걸음걸이 특징을 추출하기 위해 하이브리드 CNN-LSTM 아키텍처를 활용하여, 118명의 피험자로부터 수집된 두 개의 데이터셋에서 개인 신원 확인 정확도가 93.5%이며, 신원 인증 정확도가 93.7%에 이를 것으로 나타났다.

ABSTRACT

Compared to other biometrics, gait is difficult to conceal and has the advantage of being unobtrusive. Inertial sensors, such as accelerometers and gyroscopes, are often used to capture gait dynamics. These inertial sensors are commonly integrated into smartphones and are widely used by the average person, which makes gait data convenient and inexpensive to collect. In this paper, we study gait recognition using smartphones in the wild. In contrast to traditional methods, which often require a person to walk along a specified road and/or at a normal walking speed, the proposed method collects inertial gait data under unconstrained conditions without knowing when, where, and how the user walks. To obtain good person identification and authentication performance, deep-learning techniques are presented to learn and model the gait biometrics based on walking data. Specifically, a hybrid deep neural network is proposed for robust gait feature representation, where features in the space and time domains are successively abstracted by a convolutional neural network and a recurrent neural network. In the experiments, two datasets collected by smartphones for a total of 118 subjects are used for evaluations. The experiments show that the proposed method achieves higher than 93.5\% and 93.7\% accuracies in person identification and authentication, respectively.

연구 동기 및 목표

• 실제 생활 환경에서 제약 조건이 없는 걷기 상황에서 스마트폰 관성 센서를 이용한 강력한 개인 식별 및 신원 인증을 가능하게 하기 위해.
• 통제된 보행 경로와 속도가 필요로 하는 전통적인 걸음걸이 인식 방법의 한계를 극복하기 위해.
• 원시 가속도계 및 자이로스코프 시계열 데이터로부터 특징을 추출할 수 있는 딥러닝 프레임워크를 개발하기 위해.
• 다양한 걷기 조건에서 수집된 실제 환경 데이터셋을 바탕으로 제안된 방법의 성능을 평가하기 위해.
• 열린 연구를 촉진하기 위해 데이터셋, 코드 및 훈련된 모델을 공유하기 위해.

제안 방법

• 완전 컨volution 신경망을 사용하여 관성 데이터를 걷기 및 비걷기 단계로 분할한다.
• 원시 관성 신호의 시간축을 따라 시간적 특징을 추출하기 위해 1×9, 1×3, 1×3 크기의 일차원 컨volution 커널을 적용한다.
• 센서 축 간의 특징을 공간적으로 연관지켜 시간적 시리즈 성격을 유지하기 위해 6×1 커널을 사용한다.
• 결과적으로 생성된 128×16 특징 맵을 시간적 시리즈 형식으로 재구성하여 장기 단기 기억(LSTM) 네트워크에 입력하여 순차적 모델링을 수행한다.
• 하이브리드 CNN-LSTM 아키텍처는 관성 센서 데이터로부터 공간적 및 시간적 걸음걸이 패턴을 공동으로 학습할 수 있도록 한다.
• 특징의 분류 능력을 향상시키기 위해 트리플릿 및 콘트라스트 손실 함수를 사용하여 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 제약 조건이 없는 걷기 조건에서 스마트폰 관성 센서를 이용해 높은 정확도의 걸음걸이 인식을 달성할 수 있는가?
• RQ2 제안된 CNN-LSTM 모델의 성능이 걸음걸이 인식 작업에서 독립적인 CNN 또는 LSTM 네트워크와 비교해 어떻게 다른가?
• RQ3 가속도계와 자이로스코프 데이터를 결합하면 단독으로 하나의 센서만 사용할 경우보다 정확도가 향상되는가?
• RQ4 데이터 정렬 방식(수평 대비 수직)이 개인 인증 작업에서 딥러닝 모델의 성능에 어떤 영향을 미치는가?
• RQ5 LSTM 기반 걸음걸이 인식에 있어 데이터 분할 전략(스텝 기반 대비 고정 시간 간격)이 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 하이브리드 CNN-LSTM 모델은 실제 환경의 스마트폰 걸음걸이 데이터에서 개인 식별 정확도 93.5% 및 신원 인증 정확도 93.7%를 달성한다.
• 가속도계 데이터만으로도 자이로스코프 데이터보다 더 높은 인식 성능를 보였지만, 두 센서를 결합함으로써 상보적인 특징 학습을 통해 정확도가 향상된다.
• CNN은 관성 신호의 공간 패턴을 효과적으로 포착하는 반면, LSTM은 걸음걸이 시퀀스의 시간적 동역학을 잘 모델링한다.
• 스텝 기반 데이터 분할 전략이 고정 시간 간격 분할 전략보다 LSTM 기반 인식에서 略적으로 더 높은 성능을 보였다.
• 수직으로 정렬된 관성 데이터(걸음걸이 주기 기준 정렬)는 수평으로 정렬된 데이터보다 신원 인증 작업에서 유의미하게 뛰어난 성능을 보였다.
• 하이브리드 CNN-LSTM 모델은 독립적인 CNN 또는 LSTM 네트워크보다 유의미하게 높은 성능을 보이며, 공간적·시간적 특징 학습의 융합 효과를 입증한다.