[논문 리뷰] Toward the application of XAI methods in EEG-based systems

Andrea Apicella, Francesco Isgrò외 2명|arXiv (Cornell University)|2022. 10. 12.

EEG and Brain-Computer Interfaces인용 수 10

한 줄 요약

이 논문은 EEG 기반 뇌-컴퓨터 인터페이스(BCI)에서 데이터셋 이동 문제를 완화하기 위해 설명 가능한 인공지능(XAI) 방법이 세션 간 일관되고 관련성이 높은 신호 성분을 식별할 수 있는지 조사한다. 감정 인식 데이터셋에 LRP, 통합 기울기(IG), DeepLIFT를 적용한 결과, 표본별 XAI 설명은 분류에 매우 효과적인 것으로 나타났지만, 평균 관련성 점수는 일반화에 실패하여 BCI 시스템의 세션 간 일반화를 향상시키기 위해 세션 인식 특성 선택이 필요하다는 점을 시사한다.

ABSTRACT

An interesting case of the well-known Dataset Shift Problem is the classification of Electroencephalogram (EEG) signals in the context of Brain-Computer Interface (BCI). The non-stationarity of EEG signals can lead to poor generalisation performance in BCI classification systems used in different sessions, also from the same subject. In this paper, we start from the hypothesis that the Dataset Shift problem can be alleviated by exploiting suitable eXplainable Artificial Intelligence (XAI) methods to locate and transform the relevant characteristics of the input for the goal of classification. In particular, we focus on an experimental analysis of explanations produced by several XAI methods on an ML system trained on a typical EEG dataset for emotion recognition. Results show that many relevant components found by XAI methods are shared across the sessions and can be used to build a system able to generalise better. However, relevant components of the input signal also appear to be highly dependent on the input itself.

연구 동기 및 목표

• 신호 비정상성으로 인해 모델 일반화가 떨어지는 EEG 기반 BCI 시스템에서의 세션 간 데이터셋 이동 문제를 해결하기 위해.
• XAI 방법이 다양한 세션 간 안정적이고 관련성이 높은 EEG 특성을 식별할 수 있는지 평가하기 위해.
• XAI 유도 관련성 점수로 특성 선택을 유도할 경우, 표준 훈련 데이터 분포를 초월해 일반화를 향상시킬 수 있는지 조사하기 위해.
• XAI 설명이 세션 간 일관성 있는지 또는 매우 표본에 의존적인지 확인하여 모델 이식성에 영향을 미치는지 파악하기 위해.

제안 방법

• 사전 훈련된 EEG 기반 감정 인식 모델에 Saliency, Guided Backpropagation, LRP, 통합 기울기(IG), DeepLIFT 등의 다수 XAI 방법을 적용하였다.
• XAI 설명의 신뢰성을 평가하기 위해 평균 순서 관련성 평탄화(MoRF) 곡선을 사용하여 관련성 내림차순으로 특성을 제거했을 때의 성능 저하를 측정하였다.
• 내세션 및 외세션 데이터 간 설명을 비교하여 식별된 특성의 일관성과 일반화 잠재력을 평가하였다.
• MeRF, AOPC, ABPC 지표를 사용해 상위 랭킹 특성의 분류 능력을 검증하였다.
• XAI 점수 기반으로 각 표본의 가장 관련성 높은 성분만을 사용해 감소된 입력 신호를 구성하고 분류 성능을 테스트하였다.
• 훈련 세트 전체에 걸쳐 평균 관련성 점수를 분석하여, 훈련 중 평균 관련성 점수를 사용할 경우 단일 공유 특성 집합이 모든 입력에 대해 일반화 가능한지 평가하였다.

실험 결과

연구 질문

• RQ1 XAI 방법은 세션 간 일관되고 관련성이 높은 EEG 성분을 식별하여 BCI 시스템에서 데이터셋 이동 문제를 완화할 수 있는가?
• RQ2 내세션 및 외세션 데이터 간 XAI 설명의 신뢰성과 일관성은 어떻게 달라지는가?
• RQ3 평균 관련성 점수를 사용할 경우, XAI 유도 특성 순위가 다양한 EEG 표본 간 얼마나 일반화되는가?
• RQ4 XAI 방법이 각 표본 기반으로 식별한 가장 관련성 높은 성분들이 고립된 상태에서도 높은 분류 성능을 유지할 수 있는가?
• RQ5 랜덤 또는 비정보 기반 특성 선택과 비교했을 때, XAI 설명을 사용하면 세션 간 EEG 분류에서 모델 일반화가 향상되는가?

주요 결과

• Saliency 및 Guided Backpropagation에 비해 LRP, 통합 기울기(IG), DeepLIFT가 더 높은 신뢰성과 일관성을 보였으며, 이는 종종 관련성이 높은 EEG 성분을 식별하지 못하는 경향이 있었다.
• 놀랍게도, 외세션 설명이 내세션 설명보다 더 신뢰성 있게 나타났는데, 이는 모델이 외세션 상황에서 소규모 입력 변형에 더 민감하게 반응하기 때문일 것이다.
• 훈련 중 평균 관련성 점수를 사용할 경우, 모든 표본에 대해 일반화 가능한 단일 관련 특성 집합을 XAI 방법이 식별하지 못했다.
• 평균 관련성 기반으로 특성을 제거했을 때 성능 저하가 심하게 발생했으며(MoRF 주황 곡선), 이는 평균 관련성이 실제 분류 능력을 반영하지 못한다는 것을 시사한다.
• 각 표본 기반으로 가장 관련성 높은 성분만을 사용한 경우, 분류 성능이 높게 유지되어 표본별 설명이 매우 효과적임을 보였다.
• 평균 관련성의 MoRF, MeRF, AOPC, ABPC 곡선이 랜덤 기준선과 겹치는 것으로 나타나, 이러한 점수는 표본별 관련성과는 달리 특성 선택에 정보가 되지 않음을 시사한다.