[논문 리뷰] ViT2EEG: Leveraging Hybrid Pretrained Vision Transformers for EEG Data

Ruiqi Yang, Eric Modesitt|arXiv (Cornell University)|2023. 08. 01.

EEG and Brain-Computer Interfaces인용 수 7

한 줄 요약

이 논문은 ImageNet으로 미사전학습된 하이브리드 비전 트랜스포머(ViT)를 EEG 회귀 작업에 맞추기 위해 미세조정하는 방법을 제안하며, 관련 없는 이미지 데이터에서의 사전학습이 EEG 작업에서 성능을 크게 향상시킨다는 것을 입증한다. 이 방법은 표준 CNN과 사전학습되지 않은 ViT보다 뛰어난 성능을 보이며, 도메인 차이가 있음에도 불구하고 시각에서 EEG로의 전이학습이 매우 효과적임을 보여준다.

ABSTRACT

In this study, we demonstrate the application of a hybrid Vision Transformer (ViT) model, pretrained on ImageNet, on an electroencephalogram (EEG) regression task. Despite being originally trained for image classification tasks, when fine-tuned on EEG data, this model shows a notable increase in performance compared to other models, including an identical architecture ViT trained without the ImageNet weights. This discovery challenges the traditional understanding of model generalization, suggesting that Transformer models pretrained on seemingly unrelated image data can provide valuable priors for EEG regression tasks with an appropriate fine-tuning pipeline. The success of this approach suggests that the features extracted by ViT models in the context of visual tasks can be readily transformed for the purpose of EEG predictive modeling. We recommend utilizing this methodology not only in neuroscience and related fields, but generally for any task where data collection is limited by practical, financial, or ethical constraints. Our results illuminate the potential of pretrained models on tasks that are clearly distinct from their original purpose.

연구 동기 및 목표

• ImageNet에서 사전학습된 비전 트랜스포머가 EEG 회귀 작업에 효과적으로 미세조정될 수 있는지 조사하기.
• 기존의 CNN과 사전학습되지 않은 ViT와 비교하여 하이브리드 ViT 모델의 성능을 EEG 데이터에서 평가하기.
• EEG 연구에서 흔한 저데이터 환경에서 사전학습이 모델 일반화 능력과 성능에 미치는 영향을 평가하기.
• 효과적인 전이학습을 위해 모델이 유사한 데이터 유형에서 사전학습되어야 한다는 가정을 도전하기.
• 비용이 많이 드는 데이터 수집에 의존도를 줄이는 스케일 수 있는, 데이터 효율적인 EEG 분석 접근법 제공하기.

제안 방법

• EEGEyeNet 데이터셋을 사용하여 ImageNet에서 사전학습된 하이브리드 비전 트랜스포머(ViT)를 EEG 회귀 작업에 대해 미세조정하기.
• 초기 특징 추출을 위해 컨볼루션 레이어를 사용하고, 글로벌 어텐션과 시퀀스 모델링을 위해 비전 트랜스포머를 조합한 하이브리드 아키텍처 사용하기.
• 스패티오토르피컬 EEG 신호의 장거리 의존성을 포착하기 위해 ViT 블록에서 표준 자기어텐션 메커니즘 적용하기.
• EEG 입력에서 시야 위치를 예측하기 위해 회귀 헤드를 갖춘 EEG 데이터에서 엔드 투 엔드로 모델 훈련하기.
• 학습 안정화를 위해 표준 최적화 및 정규화 기법, 예를 들어 가중치 감쇠와 드롭아웃 사용하기.
• EEGNet, Xception, 그리고 사전학습되지 않은 ViT-Base와 같은 기준 모델과의 성능 비교하기.

Figure 1. EEGEyeNet Large Grid Paradigm (Kastrati et al . , 2021 ) . Participants are asked to fixate on particular dots in a given period.

실험 결과

연구 질문

• RQ1 아키텍처 수정 없이 ImageNet에서 사전학습된 비전 트랜스포머가 EEG 회귀 작업에 효과적으로 미세조정될 수 있는가?
• RQ2 ImageNet에서 사전학습한 것이 EEG 데이터에서 무작위 초기화로 ViT를 훈련시키는 것보다 성능상의 이점을 제공하는가?
• RQ3 사전학습된 ViT의 성능은 EEGEyeNet에서 최신 기술 수준의 CNN 기반 모델과 비교해 어떻게 되는가?
• RQ4 CNN의 인덕티브 바이어스가 주어진 EEG 회귀 작업에서 어텐션 기반 모델에 비해 성능을 얼마나 제한하는가?
• RQ5 시각 데이터에서의 전이학습이 EEG 연구에서의 데이터 부족 문제에 실질적인 해결책이 될 수 있는가?

주요 결과

• 사전학습된 ViT 모델은 EEGEyeNet 시야 예측 작업에서 루트 평균 제곱 오차(RMSE) 55.4 mm를 기록하여 이전 최고 기술 수준의 CNN 모델(70.4 mm)을 뛰어넘었다.
• 사전학습되지 않은 ViT-Base보다도 성능이 뛰어나, 사전학습이 아키텍처 자체의 영향을 넘어서 성능 향상에 기여한다는 것을 입증했다.
• 모델의 뛰어난 성능는 주로 컨볼루션 프론트엔드가 아니라 트랜스포머 블록이 장거리 의존성을 포착할 수 있는 능력 덕분이었다.
• 딥라이즈드 컨볼루션을 사용하는 EEGNet과 Xception 같은 기준 모델보다도 성능이 뛰어나, EEG 데이터에서 자기어텐션 기반 모델이 국소 컨볼루션보다 우월함을 시사한다.
• 결과적으로, 대규모 이미지 데이터에서의 사전학습은 도메인 이동이 있음에도 불구하고 EEG 회귀에 잘 일반화되는 강력한 인덕티브 바이어스를 제공함을 시사한다.
• 이 연구는 시각에서 EEG로의 전이학습이 가능하고 효과적임을 입증하며, 소스와 타겟 작업이 서로 관련이 없더라도 성립함을 보여준다.

Figure 2. Proposed EEGViT, a hybrid ViT (Vision Transformer) architecture designed specifically for EEG raw signal as input. A two-step convolution operation is applied to generate patch embeddings. Then we add positional embeddings and pass the resulting sequence into ViT layers. The illustration o