[논문 리뷰] Evaluating Performance of Machine Learning Models for Diabetic Sensorimotor Polyneuropathy Severity Classification using Biomechanical Signals during Gait

Fahmida Haque, Mamun Bin Ibne Reaz외 11명|arXiv (Cornell University)|2022. 05. 21.

Muscle activation and electromyography studies인용 수 4

한 줄 요약

이 연구는 보행 중의 생체역학적 신호를 활용하여 당뇨성 감각운동성 다발성신경병증(DSPN)의 중증도를 분류하기 위한 기계학습 프레임워크를 제안한다. EMG(tibialis anterior, vastus lateralis, gastrocnemius medialis)와 3D 지면 반력력(GRF)을 포함한다. 특성 선택 및 앙상블 모델링을 통해 GRF 기반 분류에서 94.78%의 정확도와 EMG 기반 분류에서 최적의 특성 집합을 사용해 92.89%의 정확도를 달성한다.

ABSTRACT

Diabetic sensorimotor polyneuropathy (DSPN) is one of the prevalent forms of neuropathy affected by diabetic patients that involves alterations in biomechanical changes in human gait. In literature, for the last 50 years, researchers are trying to observe the biomechanical changes due to DSPN by studying muscle electromyography (EMG), and ground reaction forces (GRF). However, the literature is contradictory. In such a scenario, we are proposing to use Machine learning techniques to identify DSPN patients by using EMG, and GRF data. We have collected a dataset consists of three lower limb muscles EMG (tibialis anterior (TA), vastus lateralis (VL), gastrocnemius medialis (GM) and 3-dimensional GRF components (GRFx, GRFy, and GRFz). Raw EMG and GRF signals were preprocessed, and a newly proposed feature extraction technique scheme from literature was applied to extract the best features from the signals. The extracted feature list was ranked using Relief feature ranking techniques, and highly correlated features were removed. We have trained different ML models to find out the best-performing model and optimized that model. We trained the optimized ML models for different combinations of muscles and GRF components features, and the performance matrix was evaluated. This study has found ensemble classifier model was performing in identifying DSPN Severity, and we optimized it before training. For EMG analysis, we have found the best accuracy of 92.89% using the Top 14 features for features from GL, VL and TA muscles combined. In the GRF analysis, the model showed 94.78% accuracy by using the Top 15 features for the feature combinations extracted from GRFx, GRFy and GRFz signals. The performance of ML-based DSPN severity classification models, improved significantly, indicating their reliability in DSPN severity classification, for biomechanical data.

연구 동기 및 목표

• 보행 관련 생체역학적 신호를 활용하여 당뇨성 감각운동성 다발성신경병증(DSPN) 중증도를 분류하는 신뢰할 수 있는 기계학습 기반 시스템을 개발한다.
• 기존 문헌에서 DSPN 관련 생체역학적 변화에 대해 모순되는 결과가 있었던 문제를 데이터 기반 모델링을 통해 해결한다.
• EMG 및 GRF 신호로부터 DSPN 중증도를 분류하는 데 있어 성능을 평가하고 최적화하는 다수의 기계학습 모델을 평가한다.
• 새로운 특성 추출 및 순위 매기기 방법을 활용하여 EMG 및 GRF 데이터에서 가장 정보가 풍부한 특성을 식별한다.
• 다양한 근육 및 GRF 성분 특성 조합에 따른 모델 성능을 비교하여 최적의 분류 정확도를 확보한다.

제안 방법

• 보행 중에 하지의 세 개의 근육(TA, VL, GM)과 세 개의 GRF 성분(GRFx, GRFy, GRFz)으로부터 원시 EMG 및 GRF 신호를 측정하였다.
• 특성 추출 이전에 노이즈와 아티팩트를 줄이기 위해 표준 기법을 사용하여 신호를 전처리하였다.
• 문헌에서 제안된 새로운 특성 추출 방법을 적용하여 신호로부터 의미 있는 시간적 및 주파수적 특성을 유도하였다.
• Relief 특성 순위 매기기 알고리즘을 사용하여 관련성이 높은 특성을 식별하고 우선순위를 정렬하였으며, 상관도가 높은 특성은 제거하였다.
• 다양한 기계학습 모델, 특히 앙상블 분류기 모델을 훈련하고 비교하여 최고 성능을 보인 모델을 식별하였다.
• 최고 성능을 보인 모델을 하이퍼파rameter 튜닝을 통해 최적화하고, 다양한 특성 조합에서의 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 보행 중 EMG 및 GRF 신호를 사용하여 DSPN 중증도를 분류하는 데 있어 가장 우수한 성능을 보이는 기계학습 모델은 무엇인가?
• RQ2 EMG 및 GRF 신호에서 추출한 최적의 특성 집합은 무엇이며, 이는 분류 정확도를 최대화하는가?
• RQ3 다양한 근육 및 GRF 성분 특성 조합을 사용할 경우 모델의 성능는 어떻게 변하는가?
• RQ4 특성 선택 기법이 DSPN 중증도 분류 모델의 정확도를 뚜렷이 향상시킬 수 있는가?
• RQ5 최적화된 모델과 특성 집합을 사용할 경우 EMG 및 GRF 데이터로 달성 가능한 최고의 분류 정확도는 얼마인가?

주요 결과

• 앙상블 분류기 모델이 모든 테스트된 모델 중에서 DSPN 중증도 분류 성능가장 높았다.
• EMG 신호의 경우, TA, VL, GM 근육 데이터를 병합하여 유도한 상위 14개 특성 조합을 사용해 최고의 정확도 92.89%를 달성하였다.
• GRF 신호의 경우, GRFx, GRFy, GRFz 성분에서 유도한 상위 15개 특성 조합을 사용해 정확도 94.78%를 달성하였다.
• Relief 알고리즘을 통한 특성 선택이 중복되거나 관련성이 없는 특성을 제거하여 모델 성능을 뚜렷이 향상시켰다.
• 최적화된 앙상블 모델은 다양한 특성 조합에서 DSPN 중증도 분류에 있어 높은 신뢰성과 강건성을 보였다.
• 본 연구는 생체역학적 보행 신호를 기반으로 훈련된 기계학습 모델이 높은 정확도로 DSPN 중증도를 효과적으로 분류할 수 있음을 확인하였다.