[논문 리뷰] Evaluation of Interpretability for Deep Learning algorithms in EEG Emotion Recognition: A case study in Autism

Juan Manuel Mayor Torres, Sara Medina-DeVilliers외 3명|arXiv (Cornell University)|2021. 11. 25.

EEG and Brain-Computer Interfaces인용 수 10

한 줄 요약

이 연구는 자폐성 관련 장애(ASD)가 있는지 여부에 관계없이 뇌파 기반 얼굴 정서 인식에서 합리화 가능한 인공지능(XAI) 방법을 평가한다. 새로 개발된 RemOve-And-Retrain (ROAR) 방법론을 통해 LRP-B, PatternNet, Pattern-Attribution이 가장 신뢰할 수 있는 XAI 방법으로 규명되었으며, 이는 ASD에서 특징적인 늦은 시점(500–1500ms)의 신경적 관련성 패턴을 드러내며, 행동적 결함에도 불구하고 정서 인코딩이 그대로 유지됨을 확인한다.

ABSTRACT

Current models on Explainable Artificial Intelligence (XAI) have shown an evident and quantified lack of reliability for measuring feature-relevance when statistically entangled features are proposed for training deep classifiers. There has been an increase in the application of Deep Learning in clinical trials to predict early diagnosis of neuro-developmental disorders, such as Autism Spectrum Disorder (ASD). However, the inclusion of more reliable saliency-maps to obtain more trustworthy and interpretable metrics using neural activity features is still insufficiently mature for practical applications in diagnostics or clinical trials. Moreover, in ASD research the inclusion of deep classifiers that use neural measures to predict viewed facial emotions is relatively unexplored. Therefore, in this study we propose the evaluation of a Convolutional Neural Network (CNN) for electroencephalography (EEG)-based facial emotion recognition decoding complemented with a novel RemOve-And-Retrain (ROAR) methodology to recover highly relevant features used in the classifier. Specifically, we compare well-known relevance maps such as Layer-Wise Relevance Propagation (LRP), PatternNet, Pattern-Attribution, and Smooth-Grad Squared. This study is the first to consolidate a more transparent feature-relevance calculation for a successful EEG-based facial emotion recognition using a within-subject-trained CNN in typically-developed and ASD individuals.

연구 동기 및 목표

• ASD 및 일반 발달 인구에서 뇌파 기반 얼굴 정서 인식을 위한 딥러닝 모델을 해석하기 위해 최신 XAI 방법의 신뢰성 평가.
• 노이즈가 많고 통계적으로 얽힌 뇌파 데이터에 적용될 때 딥러닝 모델의 신뢰할 수 있는 기능 관련성 추정의 부족을 해결.
• 뇌파 기반 정서 해독에서 강건하고 해석 가능한 특징을 식별하기 위한 새로운 RemOve-And-Retrain (ROAR) 프레임워크 개발 및 검증.
• 행동 인식 결함이 있음에도 불구하고 ASD에서 얼굴 정서의 뇌 신호 표현이 단일 시험 수준에서 그대로 유지되는지 조사.
• EEG 데이터를 사용한 임상 뇌영상 적용 분야에서 XAI 방법 평가를 위한 투명하고 재현 가능한 파이프라인 수립.

제안 방법

• 뇌파 데이터의 2차원 이미지 표현을 구성하기 위해 채널을 수직으로 스택하고, 시간를 열로, 채널을 행으로 배치하여 2D CNN에 직접 입력 가능하게 함.
• 기능 관련성 해석을 위한 열화도 맵 생성을 위해 Layer-Wise Relevance Propagation (LRP), PatternNet, Pattern-Attribution, Smooth-Grad Squared의 네 가지 XAI 방법을 적용.
• 신뢰성 있는 XAI 방법을 식별하기 위해 관련성 순으로 정렬된 기능을 반복적으로 제거하고 모델을 재학습하는 RemOve-And-Retrain (ROAR) 방법론을 적용.
• ROAR는 일반 발달(TD) 및 ASD 참가자 모두에 적용되어 그룹 간 기능 중요도와 모델 강건성 비교.
• 특히 늦은 시점 범위(500–1500ms)에 중점을 두고, 시험 및 시간 창 간 관련성 패턴의 일관성 평가를 위한 확실성 분석 수행.
• iNNvestigate 패키지를 사용하여 XAI 구현을 수행하였으며, 메소드의 엄밀함과 재현 가능성을 확보하기 위해 Google Brain와 광범위한 협업 수행.

실험 결과

연구 질문

• RQ1 TD 및 ASD 인구에서 뇌파 기반 얼굴 정서 인식에 대해 가장 안정적이고 일관된 기능 관련성 맵을 생성하는 XAI 방법은 무엇인가?
• RQ2 특히 늦은 시점 창에서, TD 및 ASD 개인 간 얼굴 정서 해석 과정에서 뇌파 기능의 관련성 패턴은 어떻게 다를까?
• RQ3 ROAR 방법론은 노이즈가 많은 뇌파 데이터로 훈련된 딥러닝 모델에서 진정으로 관련성이 있는 기능을 얼마나 잘 식별하는가?
• RQ4 행동 성능에 결함이 있음에도 불구하고, ASD에서 얼굴 정서의 별도의 뇌 신호 표현이 단일 시험 수준에서 유지되는가?
• RQ5 ROAR와 XAI 방법의 통합은 임상 EEG 적용 분야에서 딥러닝 모델의 더 투명하고 신뢰할 수 있는 해석을 가능하게 하는가?

주요 결과

• ROAR 평가에서 LRP-B, PatternNet, Pattern-Attribution이 가장 높은 신뢰도를 보였으며, 가장 관련성이 높은 기능의 50퍼센트 이상을 제거했을 때 분류 정확도가著하게 저하됨.
• 특히 가장 높은 신뢰도를 보인 XAI 방법에서 TD 및 ASD 개인 간 500–1500ms 자극 후 창에서 관련성 패턴의 유의미한 차이를 관찰.
• ASD에서의 늦은 시점 관련성 패턴은 정서 처리 중 알려진 뇌 연결성 변화와 일치하며, 정서 인코딩이 그대로 유지되었지만 다른 방식으로 조직되어 있음을 시사.
• CNN 파이프라인은 TD 및 ASD 참가자 모두에서 뇌파 데이터로부터 얼굴 정서를 성공적으로 복원하여, 단일 시험 수준에서 ASD에서도 정서의 뇌 신호 표현이 유지됨을 확인.
• ROAR의 사용을 통해 정확한 정서 분류에 핵심적인 역할을 하는 일관되고 특징적인 EEG 기능 집합을 식별할 수 있었으며, 이는 모델의 투명성을 향상시켰다.
• 이 연구는 뇌파 기반 딥러닝에서 XAI 방법 평가의 새로운 기준을 설정하였으며, ROAR가 임상 뇌영상에서 신뢰할 수 있는 관련성 맵과 허위 관련성 맵을 효과적으로 구분할 수 있음을 입증함.