[논문 리뷰] Efficacy of Transformer Networks for Classification of Raw EEG Data

Gourav Siddhad, Anmol Gupta외 2명|arXiv (Cornell University)|2022. 02. 08.

EEG and Brain-Computer Interfaces인용 수 11

한 줄 요약

이 논문은 수작업으로 특징 추출을 하지 않고도 원시의 사전 처리된 뇌파(EEG) 데이터를 분류하기 위한 트랜스포머 기반 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 공개된 STEW 데이터셋에서 두 가지 작업 부하 수준(95.28%)과 세 가지 작업 부하 수준(88.72%)에서 최신 기술 수준의 정확도를 달성하였고, 국산 연령 및 성별 데이터셋에서 성별 분류(94.53%)와 연령 분류(87.79%)에서도 높은 성능을 보이며, 트랜스포머가 EEG 분류에 효과적임을 입증한다.

ABSTRACT

With the unprecedented success of transformer networks in natural language processing (NLP), recently, they have been successfully adapted to areas like computer vision, generative adversarial networks (GAN), and reinforcement learning. Classifying electroencephalogram (EEG) data has been challenging and researchers have been overly dependent on pre-processing and hand-crafted feature extraction. Despite having achieved automated feature extraction in several other domains, deep learning has not yet been accomplished for EEG. In this paper, the efficacy of the transformer network for the classification of raw EEG data (cleaned and pre-processed) is explored. The performance of transformer networks was evaluated on a local (age and gender data) and a public dataset (STEW). First, a classifier using a transformer network is built to classify the age and gender of a person with raw resting-state EEG data. Second, the classifier is tuned for mental workload classification with open access raw multi-tasking mental workload EEG data (STEW). The network achieves an accuracy comparable to state-of-the-art accuracy on both the local (Age and Gender dataset; 94.53% (gender) and 87.79% (age)) and the public (STEW dataset; 95.28% (two workload levels) and 88.72% (three workload levels)) dataset. The accuracy values have been achieved using raw EEG data without feature extraction. Results indicate that the transformer-based deep learning models can successfully abate the need for heavy feature-extraction of EEG data for successful classification.

연구 동기 및 목표

• 수작업 특징 추출 없이 원시 EEG 데이터에 대한 엔드 투 엔드 분류에 대해 트랜스포머 네트워크의 효능을 평가하는 것.
• EEG 분류에서 오랫동안 지속된 사전 처리 및 특징 공학에 의존하는 문제를 트랜스포머의 어텐션 메커니즘을 활용하여 해결하는 것.
• 기존 딥 러닝 모델들과 비교해도 경쟁력 있거나 우수한 성능을 보일 수 있음을 지역 및 공개 EEG 데이터셋에서 입증하는 것.
• 아티팩트 오염과 피험자 간 변동성으로 인한 성능 저하 문제를 자동화되고 데이터 기반의 특징 학습을 통해 줄이는 것.

제안 방법

• 학습 가능한 토큰 임베딩과 위치 인코딩을 사용하여 시간적 의존성을 모델링하는 방식으로, 원시로 정제된 EEG 신호에 직접 트랜스포머 인코더 아키텍처를 적용한다.
• EEG 데이터에 적합하도록 위치 인코딩을 조정하였지만, 생리학적 및 시간적 특성에 대해 특별히 최적화하지는 않았다.
• 다중 헤드 자기 어텐션을 사용하여 EEG 채널과 시간 포인트 간의 장거리 의존성을 포착하고, 공간-시간 동시 표현 학습을 가능하게 한다.
• 두 데이터셋 모두에서 이진 및 다중 클래스 분류 작업을 위해 학습된 표현 위에 분류기 헤드를 추가한다.
• 조기 정지 기법을 사용하고 검증 성능에 따라 하이퍼파라미터를 튜닝하며, 교차 엔트로피 손실을 사용해 엔드 투 엔드로 네트워크를 학습시킨다.
• 제거 실험을 통해 제안된 모델이 어텐션 기반 베이스라인과 비교해 다중 헤드 어텐션의 우수성을 확인한다.

실험 결과

연구 질문

• RQ1 트랜스포머 네트워크는 사전 특징 추출 없이 원시 EEG 데이터를 효과적으로 분류할 수 있으며, 최신 기술 수준의 방법과 비교해도 성능이 유사하거나 뛰어나게 달성할 수 있는가?
• RQ2 기존의 기계 학습 및 딥 러닝 모델과 비교해 트랜스포머 기반 모델의 EEG 분류 성능은 어떠한가?
• RQ3 트랜스포머의 다중 헤드 자기 어텐션은 EEG 신호의 분류에 있어 관련된 공간-시간 패턴을 얼마나 잘 포착하는가?
• RQ4 위치 인코딩의 선택이 EEG 데이터에서 성능에 영향을 미치는가? 그리고 신경생리학적 신호 특성에 최적화될 수 있는가?
• RQ5 제안된 프레임워크는 연령/성별 예측과 정신적 작업 부하 추정과 같은 다양한 EEG 분류 파라다임에 일반화될 수 있는가?

주요 결과

• 지역 EEG 데이터셋에서 트랜스포머 모델은 성별 분류에 94.53%의 정확도, 연령 분류에 87.79%의 정확도를 기록하여 특징 공학 없이도 뛰어난 성능을 보였다.
• 공개된 STEW 데이터셋에서 모델은 두 수준의 작업 부하 분류에 95.28%의 정확도, 세 수준의 작업 부하 분류에 88.72%의 정확도를 달성하여 기존 최신 기술 수준의 방법을 초월했다.
• 정밀도, 재현율, F1 점수 등 다양한 지표에서 높은 일관성 있는 성능를 보였으며, 혼동 행렬과 ROC 곡선을 통해 강력한 일반화 능력을 확인할 수 있었다.
• 제거 실험 결과, 다중 헤드 어텐션은 단일 어텐션 메커니즘보다 유의미하게 뛰어난 성능을 보이며, 복잡한 EEG 표현 학습에서의 중요성을 입증했다.
• 결과적으로 트랜스포머는 원시 EEG 데이터로부터 의미 있는 표현을 효과적으로 학습할 수 있으며, 수작업 특징 추출에 대한 의존도를 줄일 수 있음을 시사한다.
• 강력한 결과에도 불구하고, STEW에 비해 연령/성별 데이터셋에서 성능이 略로 낮게 나타났는데, 이는 최적화되지 않은 위치 인코딩과 도메인 특화 특징 통합의 부재 때문일 수 있다.