[논문 리뷰] On the Explanation of Machine Learning Predictions in Clinical Gait Analysis

Djordje Slijepčević, Fabian Horst외 7명|arXiv (Cornell University)|2019. 12. 16.

Anomaly Detection Techniques and Applications참고 문헌 61인용 수 5

한 줄 요약

이 연구는 임상 보행 분석에서 기초가 되는 지면 반력력(GRF) 신호를 사용하여 기계학습 예측을 해석하기 위해 설명 가능한 인공지능(XAI) 기법—특히 계층별 중요도 전파(LRP)—를 조사한다. LRP 설명이 통계적으로 구분 가능하고 임상적으로 의미 있는 것으로 밝혀졌으며, 데이터 정규화가 다양한 보행 장애 분류 작업에서 모델의 해석 가능성과 성능을 크게 향상시킨다.

ABSTRACT

Machine learning (ML) is increasingly used to support decision-making in the healthcare sector. While ML approaches provide promising results with regard to their classification performance, most share a central limitation, namely their black-box character. Motivated by the interest to understand the functioning of ML models, methods from the field of Explainable Artificial Intelligence (XAI) have recently become important. This article investigates the usefulness of XAI methods in clinical gait classification. For this purpose, predictions of state-of-the-art classification methods are explained with an established XAI method, i.e., Layer-wise Relevance Propagation (LRP). We propose to evaluate the obtained explanations with two complementary approaches: a statistical analysis of the underlying data using Statistical Parametric Mapping and a qualitative evaluation by a clinical expert. A gait dataset comprising ground reaction force measurements from 132 patients with different lower-body gait disorders and 62 healthy controls is utilized. We investigate several gait classification tasks, employ multiple classification methods, and analyze the impact of data normalization and different signal components for classification performance and explanation quality. Our experiments show that explanations obtained by LRP exhibit promising statistical properties concerning inter-class discriminativity and are also in line with clinically relevant biomechanical gait characteristics.

연구 동기 및 목표

• 기계학습 기반 보행 분류에서 XAI 기법이 생성한 설명의 임상적 관련성과 통계적 타당성을 평가하기 위해.
• 데이터 정규화가 GRF 신호 분석에서 분류 성능과 설명 품질에 미치는 영향을 조사하기 위해.
• LRP 설명이 보행 신호의 생체역학적으로 의미 있는 영역—특히 영향을 받은 부위와 영향을 받지 않은 부위—를 식별할 수 있는지 평가하기 위해.
• 통계적 영역 매핑(SPM)과 전문가 평가를 조합하여 LRP 설명을 검증하는 데 사용되는 보완적 방법으로서의 유용성을 비교하기 위해.
• 모델에서의 중복되거나 과다한 특징 학습이 설명의 해석 가능성과 강건성에 미치는 영향을 결정하기 위해.

제안 방법

• 132명의 환자와 62명의 건강한 대조군의 GRF 신호를 사용하여 이진 보행 분류를 위한 최신 딥러닝 모델(예: 합성곱 신경망)을 활용하였다.
• 각 모델 예측에 대해 국소적이고 입력 신호 수준의 설명을 생성하기 위해 계층별 중요도 전파(LRP)를 적용하였다.
• 환자군과 대조군 간에 LRP로 추출한 관련 신호 영역의 구분 능력을 통계적으로 검증하기 위해 통계적 영역 매핑(SPM)을 사용하였다.
• 임상 전문가의 정성적 평가를 통해 LRP 설명이 기존의 생체역학적 보행 특성과 일치하는지 평가하였다.
• 데이터 정규화가 모델 성능과 설명의 정확성에 미치는 영향을 체계적으로 평가하였으며, 특히 GRF 성분(수직, 앞뒤, 외측-내측)에 대해 분석하였다.
• 특정 신호 성분(예: 수평력)을 가림하여 특징 중요도와 학습된 표현의 중복성을 평가하기 위해 추론 실험(Ablation study)을 수행하였다.

실험 결과

연구 질문

• RQ1 ML 기반 보행 분류 예측에 대해 LRP가 생성한 설명이 임상적으로 관련 있는 생체역학적 패턴과 어느 정도 일치하는가?
• RQ2 데이터 정규화는 GRF 기반 보행 분류에서 LRP 설명의 품질과 신뢰성에 어떤 영향을 미치는가?
• RQ3 LRP가 식별한 영역가 환자군과 건강한 대조군을 통계적으로 유의미하게 구분하는가?
• RQ4 시계열 생체의학 데이터에서 LRP 설명을 검증하는 데 SPM이 강력한 통계적 기준이 될 수 있는가?
• RQ5 ML 모델이 보행 신호 분류에서 중복되거나 과다한 특징 표현에 얼마나 의존하는가?

주요 결과

• LRP 설명은 영향을 받은 부위와 영향을 받지 않은 부위 양쪽 모두에서 매우 관련성이 높은 신호 영역을 식별하였으며, 이는 영향을 받지 않은 쪽이 분류 결정에 의미 있게 기여하고 있음을 시사한다.
• 통계적 영역 매핑(SPM)은 LRP로 추출한 관련 영역이 환자군과 대조군 간에 유의미하게 다름을 확인하여, 이들의 통계적 타당성을 뒷받침한다.
• 데이터 정규화는 필수적이었다: 정규화 없이서는 수직 GRF 성분에서만 특징가 식별되었으며, 이는 임상적으로 비현실적이었다; 정규화를 통해 모든 세 가지 GRF 성분에서 관련 특징가 식별 가능해졌다.
• 수평력 성분을 가리면 분류 정확도에 거의 영향을 주지 않아, 모델가 보행 특징의 중복되거나 과다한 표현을 학습하고 있음을 시사한다.
• 정규화된 및 비정규화된 GRF 신호 모두에서 분류 성능이 높게 유지되어, 학습된 특징의 강건성과 잠재적인 중복성을 추가로 확인하였다.
• 임상 전문가들은 LRP 설명이 알려진 생체역학적 보행 특성과 일치함을 확인하였으며, 이는 임상 적용을 위한 신뢰도와 해석 가능성 향상에 기여한다.