[논문 리뷰] Large Transformers are Better EEG Learners

Bingxin Wang, Xiaowen Fu외 4명|arXiv (Cornell University)|2023. 08. 20.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

이 논문은 다중 채널 뇌파 신호를 이미지 또는 텍스트 형식으로 변환하여 대규모 사전 훈련된 시각 및 언어 변환기 모델을 직접 미세조정할 수 있도록 하는 플러그 앤 플레이 어댑터 프레임워크인 AdaCE를 제안한다. Swin-Transformer 및 GPT-2와 같은 사전 훈련된 모델을 추가 학습 가능한 파rameter 없이 활용함으로써 AdaCE는 상태의 기술 수준(SOTA) 성능을 달성하였으며, UCI HAR 데이터셋에서 99.6%의 정확도를 기록하여 이전 방법보다 9.2% 높은 성능을 보였다. 이는 더 큰 사전 훈련된 모델을 AdaCE로 미세조정할 경우 성능 향상이 이루어짐을 시사한다.

ABSTRACT

Pre-trained large transformer models have achieved remarkable performance in the fields of natural language processing and computer vision. However, the limited availability of public electroencephalogram (EEG) data presents a unique challenge for extending the success of these models to EEG-based tasks. To address this gap, we propose AdaCT, plug-and-play Adapters designed for Converting Time series data into spatio-temporal 2D pseudo-images or text forms. Essentially, AdaCT-I transforms multi-channel or lengthy single-channel time series data into spatio-temporal 2D pseudo-images for fine-tuning pre-trained vision transformers, while AdaCT-T converts short single-channel data into text for fine-tuning pre-trained language transformers. The proposed approach allows for seamless integration of pre-trained vision models and language models in time series decoding tasks, particularly in EEG data analysis. Experimental results on diverse benchmark datasets, including Epileptic Seizure Recognition, Sleep-EDF, and UCI HAR, demonstrate the superiority of AdaCT over baseline methods. Overall, we provide a promising transfer learning framework for leveraging the capabilities of pre-trained vision and language models in EEG-based tasks, thereby advancing the field of time series decoding and enhancing interpretability in EEG data analysis. Our code will be available at https://github.com/wangbxj1234/AdaCE.

연구 동기 및 목표

• 시각 및 자연어 처리(NLP) 분야의 대규모 사전 훈련된 변환기 모델을 활용하여 뇌파 신호 복원에 있어 라벨이 부족한 문제를 해결하기 위해.
• 추가 학습 가능한 파rameter를 도입하지 않고도 뇌파 신호의 전체 공간적 및 시간적 정보를 유지하면서 사전 훈련된 모델에 적응시키기 위해.
• AdaCE로 더 큰 사전 훈련된 모델을 미세조정할 경우 뇌파 예측 작업에서 성능 향상이 이루어지는지 입증하기 위해.
• 뇌파를 초월하여 다른 다중 채널 시계열 데이터에도 적용 가능한 플러그 앤 플레이 솔루션을 제공하기 위해.

제안 방법

• 2차원 다중 채널 뇌파 데이터를 사전 훈련된 시각 변환기 모델의 입력에 적합한 이미지 유사 텐서로 변환하기 위한 AdaCE-to-Image 어댑터 설계.
• 중간 크기의 단일 채널 뇌파를 토큰화된 텍스트 시퀀스로 변환하여 대규모 언어 모델(LLM)의 입력 길이 초과 문제를 해결하기 위한 AdaCE-to-Text 어댑터 설계.
• 아키텍처 수정 없이 사전 훈련된 시각 및 언어 모델(예: Swin-Transformer, GPT-2)을 사용하며, 어댑터 모듈을 통해만 미세조정.
• 어댑터를 플러그 앤 플레이 방식으로 적용하여, 추가적인 특징 추출 네트워크 없이도 원시 뇌파 데이터를 그대로 사전 훈련된 모델에 입력할 수 있도록 함.
• 모델 크기 증가에 따른 성능 스케일링을 공정하게 비교하기 위해 모든 모델에 동일한 훈련 설정을 적용.
• 시각 변환기 입력 요구 사항을 충족시키기 위해 EEG-to-Image 변환에 224×224 해상도와 RGB 패턴을 사용.

Figure 1: Framework: Adapters to convert EEG into images and text for fine-tuning pre-trained large transformers.

실험 결과

연구 질문

• RQ1 아키텍처 수정 없이 추가 학습 가능한 파arameter 없이도 사전 훈련된 시각 및 언어 변환기 모델이 뇌파 복원에 효과적으로 미세조정될 수 있는가?
• RQ2 어댑터를 통해 뇌파 데이터를 이미지 또는 텍스트 형식으로 변환할 경우, 뇌파 예측 작업에서 최고 성능을 달성하기에 충분한 정보를 유지할 수 있는가?
• RQ3 AdaCE를 사용하면서 사전 훈련된 모델의 크기를 증가시키면 뇌파 작업에서 성능 향상이 이루어지는가?
• RQ4 제안된 AdaCE 프레임워크는 심전도(ECG) 및 근전도(EMG)와 같은 다른 다중 채널 시계열 데이터로 일반화될 수 있는가?

주요 결과

• AdaCE-to-Image는 UCI HAR 데이터셋에서 99.6%의 정확도를 기록하여 이전 방법보다 절대적 개선 폭이 9.2%였다.
• AdaCE로 더 큰 사전 훈련된 시각 변환기 모델(예: 8700만 파arameter를 가진 Swin-Transformer)을 미세조정할 경우, 더 작은 버전(2800만 파arameter)보다 높은 정확도(99.6%)를 달성하였다.
• AdaCE-to-Text는 Sleep-EDF 데이터셋에서 이전의 EEG-to-텍스트 방법보다 뛰어난 성능을 보였지만, 다중 채널 뇌파 작업에서는 AdaCE-to-Image에 비해 열등한 성능을 보였다.
• AdaCE-to-Image와 AdaCE-to-Text 간의 성능 격차는 UCI HAR 데이터셋에서 가장 두드러졌으며, 이는 다중 채널 뇌파에 대해 이미지 기반 표현 방식이 열등하다는 것을 시사한다.
• 서로 다른 아키텍처(예: DeiT, ViT, Swin)를 가진 파arameter 수가 유사한 사전 훈련된 모델들이 AdaCE로 미세조정될 경우 유사한 성능를 기록함을 확인하여, 아키텍처의 차이에 대해 뛰어난 내성적 안정성을 확보하였다.
• 실험 결과는 더 큰 사전 훈련된 모델을 AdaCE로 미세조정할 경우 성능 향상이 이루어짐을 경험적으로 확인하였으며, 이는 더욱 큰 모델로의 확장 가능성에 강력한 잠재력을 지닌다는 것을 시사한다.

Figure 2: AdaCE-to-Image: Adapter for Converting EEG into images to maintain the complete feature information.