[논문 리뷰] Multimodal Gait Recognition for Neurodegenerative Diseases

Aite Zhao, Jianbo Li외 6명|arXiv (Cornell University)|2021. 01. 07.

Gait Recognition and Analysis참고 문헌 42인용 수 5

한 줄 요약

이 논문은 가속도계, 힘 감지 저항성 센서, 3D 스켈레톤, 실루엣 이미지와 같은 다양한 센서의 데이터를 융합하여 신경퇴행성질환(NDDs) 및 파킨슨병(PD)의 중증도 수준을 향상된 분류 성능을 달성하기 위한 새로운 다중모odal 걸음걸이 인식 프레임워크를 제안한다. 이 방법은 공간적 특징 추출기(SFE), 시간적 모델링을 위한 상관 메모리 신경망(CorrMNN), 그리고 공동 특징 학습을 위한 다중 스위치 디스criminator를 활용하며, SDUgait 데이터셋에서 98.79%의 정확도를 기록하고 최신 기술보다 뛰어난 성능을 보였다.

ABSTRACT

In recent years, single modality based gait recognition has been extensively explored in the analysis of medical images or other sensory data, and it is recognised that each of the established approaches has different strengths and weaknesses. As an important motor symptom, gait disturbance is usually used for diagnosis and evaluation of diseases; moreover, the use of multi-modality analysis of the patient's walking pattern compensates for the one-sidedness of single modality gait recognition methods that only learn gait changes in a single measurement dimension. The fusion of multiple measurement resources has demonstrated promising performance in the identification of gait patterns associated with individual diseases. In this paper, as a useful tool, we propose a novel hybrid model to learn the gait differences between three neurodegenerative diseases, between patients with different severity levels of Parkinson's disease and between healthy individuals and patients, by fusing and aggregating data from multiple sensors. A spatial feature extractor (SFE) is applied to generating representative features of images or signals. In order to capture temporal information from the two modality data, a new correlative memory neural network (CorrMNN) architecture is designed for extracting temporal features. Afterwards, we embed a multi-switch discriminator to associate the observations with individual state estimations. Compared with several state-of-the-art techniques, our proposed framework shows more accurate classification results.

연구 동기 및 목표

• 신경퇴행성질환(NDDs)과 관련된 미세한 걸음걸이 변화를 탐지하는 데에 한계가 있는 단일 모odal 걸음걸이 인식 기술의 문제점을 해결하기 위해.
• 가속도, 힘 감지, 3D 스켈레톤, 이미지 등 다양한 모달리티에서 유형이 다른 센서 데이터를 융합하여 분류 정확도를 향상시키기 위해.
• 건강한 개인, 다양한 NDD 환자, 그리고 파킨슨병(PD) 중증도 수준 간을 구분할 수 있도록 공간적 및 시간적 걸음걸이 특징을 모두 포괄하는 통합된 딥러닝 프레임워크를 개발하기 위해.
• 엔드 투 엔드 학습을 사용하여 NDDs, PDgait, SDUgait 세 가지 벤치마크 데이터셋에서 모델의 효과성을 검증하기 위해.

제안 방법

• 다양한 센서 데이터에서 주파수 도메인 및 시간 도메인 특징을 추출하고, 이를 피셔 벡터로 인코딩하기 위해 공간적 특징 추출기(SFE)를 사용한다.
• 다양한 모달리티의 신호 간 시간에 따른 상관관계를 포착하여 시간적 의존성을 모델링하기 위해 새로운 상관 메모리 신경망(CorrMNN)을 설계한다.
• CorrMNN는 상관관계 인식 메커니즘을 통해 모달리티별 특징을 통합하여 미세한 걸음걸이 변화에 대한 표현 학습을 향상시킨다.
• 융합된 특징을 개별 질병 상태 및 중증도 수준와 연관지켜 분류 정확도를 향상시키기 위해 다중 스위치 디스criminator를 도입한다.
• 대표성 수준에서 특징 융합을 수행하는 엔드 투 엔드 학습을 적용하여 공간적, 시간적, 분류 구성 요소를 공동 최적화한다.
• t-SNE 시각화를 통해 특징의 분리 가능성 평가를 수행하였으며, 특징 학습 후 서로 다른 걸음걸이 클래스 간의 군집화가 향상됨을 확인하였다.

실험 결과

연구 질문

• RQ1 다양한 센서(예: 가속도계, 힘 감지 저항성 센서, 3D 스켈레톤, 이미지)에서 온 다중모달 걸음걸이 데이터 융합이 단일 모달 접근법보다 신경퇴행성질환(NDDs)의 분류 성능을 향상시키는가?
• RQ2 상관 메모리 신경망(CorrMNN)이 걸음걸이 신호의 시간적 의존성과 다중모달 상관관계를 얼마나 효과적으로 모델링하여 인식 성능을 향상시키는가?
• RQ3 다중 스위치 디스criminator의 통합이 다양한 질병 유형과 파킨슨병(PD) 중증도 단계 간의 걸음걸이 패턴 식별 능력을 어느 정도 향상시키는가?
• RQ4 제안된 하이브리드 모델이 건강한 개인, 파킨슨병, 헌팅턴병, 루게릭병 환자를 구분하는 데에서 뛰어난 성능을 보이는가?
• RQ5 각 구성 요소(SFE, CorrMNN, 다중 스위치 디스criminator)가 전체 분류 정확도 및 특징 분리 가능성에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 하이브리드 모델은 SDUgait 데이터셋에서 98.79%의 분류 정확도를 기록하여 DCCA(96.17%) 및 BiLSTM와 같은 최신 기술을 초월하였다.
• 상관관계 모델링이 없는 DCMNN보다 CorrMNN 모듈이 더 높은 정확도를 기록하여, 특징 학습에서 다중모달 상관관계의 중요성을 입증하였다.
• SFE 모듈은 LDA 및 피셔 벡터보다 더 분리 가능한 특징을 생성하였으며, 더 높은 분류 정확도를 기록하여 효과적인 공간적 표현 학습이 이루어졌음을 시사하였다.
• t-SNE 시각화 결과, 제안된 모델이 추출한 특징는 서로 다른 걸음걸이 클래스 간에 강한 분류 가능성을 보였으며, 중첩이 최소한이었다.
• PDgait 데이터셋에서 모델은 파킨슨병 중증도 수준 2, 2.5, 3에 대해 평균 인식률 각각 94.92%, 89.08%, 93.69%를 기록하여 중증도 단계 간 일관된 성능을 보였다.
• 다중 스위치 디스criminator는 분류 성능을 크게 향상시켰으며, 전체 모델은 모든 개별 구성 요소보다 뛰어난 성능을 보였고, 다중모달 학습에서 공동 최적화의 가치를 확인하였다.