[논문 리뷰] Transformers for 1D Signals in Parkinson's Disease Detection from Gait

Duc Minh Dimitri Nguyen, Mehdi Miah외 2명|arXiv (Cornell University)|2022. 04. 01.

Voice and Speech Disorders인용 수 5

한 줄 요약

이 논문은 1D 보행 신호에서 파킨슨병을 진단하기 위해 이중 단계형 트랜스포머 기반 모델을 제안한다. 개별 발 센서 신호에 대한 시간적 자기주의를 적용한 후, 센서 간 공간적 자기주의를 통해 시공간적 특징을 추출한다. 이 방법은 PhysioNet 데이터셋에서 95.2%의 정확도를 달성하여 최신 기술을 능가하며, 더 높은 안정성과 낮은 분산을 보였다.

ABSTRACT

This paper focuses on the detection of Parkinson's disease based on the analysis of a patient's gait. The growing popularity and success of Transformer networks in natural language processing and image recognition motivated us to develop a novel method for this problem based on an automatic features extraction via Transformers. The use of Transformers in 1D signal is not really widespread yet, but we show in this paper that they are effective in extracting relevant features from 1D signals. As Transformers require a lot of memory, we decoupled temporal and spatial information to make the model smaller. Our architecture used temporal Transformers, dimension reduction layers to reduce the dimension of the data, a spatial Transformer, two fully connected layers and an output layer for the final prediction. Our model outperforms the current state-of-the-art algorithm with 95.2\% accuracy in distinguishing a Parkinsonian patient from a healthy one on the Physionet dataset. A key learning from this work is that Transformers allow for greater stability in results. The source code and pre-trained models are released in https://github.com/DucMinhDimitriNguyen/Transformers-for-1D-signals-in-Parkinson-s-disease-detection-from-gait.git

연구 동기 및 목표

• 1D 보행 신호에서 관련 특징을 자동으로 추출할 수 있는 딥 러닝 모델을 개발하는 것.
• 트랜스포머가 1D 신호 처리, 특히 파킨슨병에서의 보행 분석에 효과적인지 조사하는 것.
• 시간적 및 공간적 주의 메커니즘을 분리함으로써 1D 신호에 기반한 트랜스포머 기반 모델의 메모리 소비를 줄이는 것.
• 기존의 수작업 특징 추출 및 딥 러닝 방법보다 분류의 안정성과 성능을 향상시키는 것.
• 이중 브랜치 트랜스포머 아키텍처가 보행 신호의 장거리 시간적 및 공간적 의존성을 효과적으로 포착할 수 있는지 입증하는 것.

제안 방법

• 모델은 개별 18채널 1D 보행 신호(VGRF)를 처리하고 시간적 의존성을 추출하기 위해 시간적 트랜스포머 인코더를 사용한다.
• 전체 차원 감소를 위해 완전 연결층(FC-0)을 통해 시퀀스 길이와 메모리 사용량을 줄인다.
• 감소된 표현에 대해 공간적 트랜스포머 인코더를 적용하여 발의 센서 간 관계를 모델링한다.
• 최종 특징은 두 개의 완전 연결층과 소프트맥스 출력층을 거쳐 이진 분류를 수행한다.
• 일관된 입력 시퀀스 길이를 고려해 고정된 사인파 임bedding을 사용하여 위치 인코딩을 적용한다.
• 전체 걷기 동작을 파킨슨병 환자 또는 건강한 상태로 분류하기 위해 분할된 보행 사이클에 대한 다수결정의를 사용한다.

실험 결과

연구 질문

• RQ1 이중 브랜치 트랜스포머 아키텍처가 1D 보행 신호에서 시공간적 특징을 효과적으로 추출하여 파킨슨병 진단에 기여할 수 있는가?
• RQ2 트랜스포머에서 시간적 및 공간적 주의를 분리함으로써 1D 신호 처리에서 성능과 메모리 효율성이 어떻게 향상되는가?
• RQ3 제안된 방법이 PhysioNet 보행 데이터셋에서 최신 기술 대비 더 높은 정확도와 낮은 분산을 달성하는가?
• RQ4 각 구성 요소(시간적 트랜스포머, 공간적 트랜스포머, 차원 감소)가 최종 모델 성능에 기여하는 정도는 어떠한가?
• RQ5 비록 NLP 및 비전 분야에서 주로 사용되지만, 트랜스포머가 1D 생체의학 신호(예: 보행 데이터)에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 모델은 PhysioNet 데이터셋에서 95.2%의 정확도를 달성하여 현재 최신 기술을 능가한다.
• 최근 방법들과 비교해 표준편차 2.3%로 낮은 분산을 보이며, 예측의 안정성이 높다는 것을 시사한다.
• 제거 실험 결과, 시간적 트랜스포머나 공간적 트랜스포머를 제거할 경우 정확도가 떨어지고 표준편차가 증가함을 확인했다.
• 단일 시공간 트랜스포머를 사용한 모델 C는 메모리 제약으로 인해 시퀀스 길이가 제한되어 오직 92.0%의 정확도를 기록했다.
• 시간적 및 공간적 트랜스포머를 별도로 사용함으로써 메모리 예산 내에서 보다 효과적인 장거리 의존성 모델링이 가능해져 성능이 향상되었다.
• 민감도 98.1%는 거의 모든 파킨슨병 환자를 정확히 식별할 수 있음을 나타내며, 특이도(86.8%)는 낮아 비정상적인 건강한 보행 패tern으로 인한 더 많은 위양성 결과가 발생함을 시사한다.