[논문 리뷰] Deep Feature Learning for EEG Recordings

Sebastian Stober, Avital Sternin외 2명|arXiv (Cornell University)|2015. 11. 13.

EEG and Brain-Computer Interfaces참고 문헌 16인용 수 66

한 줄 요약

이 논문은 저자원, 고노이즈 EEG 기록에서 분류 가능한 특징을 학습하기 위한 새로운 딥러닝 기법—교차 시험 인코딩, 유사도 제약 자동에코더, 하이드라넷—을 제안한다. 이 방법들은 OpenMIIR EEG 데이터셋에서 분류 정확도를 크게 향상시킴을 보여주며, 특히 안정적이고 임무 관련 뇌 패턴 및 음악적 시간적 특징(예: 다운비트)을 포착함으로써 성능 향상을 이룬다.

ABSTRACT

We introduce and compare several strategies for learning discriminative features from electroencephalography (EEG) recordings using deep learning techniques. EEG data are generally only available in small quantities, they are high-dimensional with a poor signal-to-noise ratio, and there is considerable variability between individual subjects and recording sessions. Our proposed techniques specifically address these challenges for feature learning. Cross-trial encoding forces auto-encoders to focus on features that are stable across trials. Similarity-constraint encoders learn features that allow to distinguish between classes by demanding that two trials from the same class are more similar to each other than to trials from other classes. This tuple-based training approach is especially suitable for small datasets. Hydra-nets allow for separate processing pathways adapting to subsets of a dataset and thus combine the advantages of individual feature learning (better adaptation of early, low-level processing) with group model training (better generalization of higher-level processing in deeper layers). This way, models can, for instance, adapt to each subject individually to compensate for differences in spatial patterns due to anatomical differences or variance in electrode positions. The different techniques are evaluated using the publicly available OpenMIIR dataset of EEG recordings taken while participants listened to and imagined music.

연구 동기 및 목표

• 딥러닝 응용 분야에서 제한된, 고차원적이며 노이즈가 많은 EEG 데이터의 과제를 해결한다.
• EEG에서의 개인 간 변동성과 낮은 신호 대 잡음 비율에 강건한 특징 학습 기법을 개발한다.
• 자기지도 및 약한 지도 학습 전략을 활용해 소규모 EEG 데이터셋으로부터 효과적인 표현 학습을 가능하게 한다.
• 인지신경과학 응용 분야에서 학습된 특징의 해석 가능성을 향상시킨다.
• 음악 인식 및 상상 작업에서 분류 가능한 신경 패턴을 식별함으로써 뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI) 성능을 향상시킨다.

제안 방법

• 교차 시험 인코딩은 동일한 시험 반복에 대해 자동에코더가 EEG 시험을 재구성하도록 훈련하면서, 반복된 시험 간 불변성을 강제함으로써 학습된 특징의 안정성을 향상시킨다.
• 유사도 제약 인코딩은 튜플 기반 손실을 사용하여 동일한 클래스에 属하는 샘플이 다른 클래스의 샘플보다 더 유사하도록 보장함으로써 분류 능력을 향상시킨다.
• 하이드라넷은 공유된 깊은 층을 가진 병렬 네트워크 브랜치를 구현하여, 개별적으로 주관별 EEG 패턴에 적응하면서도 고차원 표현에서의 일반화 능력을 유지한다.
• 모델들은 OpenMIIR 데이터셋에서 엔드 투 엔드로 훈련되며, 이 데이터셋은 12개의 서로 다른 자극으로 구성된 음악 청취 및 상상 작업 중의 EEG 기록을 포함한다.
• 유사도 제약 인코더에서 사전 훈련된 특징는 하이드라넷 경로를 통한 주관별 적응을 통해 추가로 정밀화된다.
• 학습된 필터의 시각화를 통해 특히 초기 합성곱 레이어에서 전극 중요도와 시간 패턴을 식별함으로써 모델의 해석 가능성이 향상된다.

실험 결과

연구 질문

• RQ1 자기지도 및 약한 지도 학습 딥러닝 기법이 소규모, 노이즈가 많은 EEG 데이터셋에서 분류 가능한 특징를 효과적으로 추출할 수 있는가?
• RQ2 교차 시험 인코딩과 유사도 제약 학습은 EEG 분석에서 특징 안정성과 분류 성능 향상에 어떻게 기여하는가?
• RQ3 하이드라넷은 EEG의 공간 패턴과 전극 배치의 개인별 차이에 얼마나 잘 적응할 수 있는가?
• RQ4 학습된 특징들이 청각 피질 활성화나 다운비트 타이밍과 같은 알려진 신경생리학적 및 음악적 특징과 일치하는가?
• RQ5 제안된 방법들은 BCI 응용 분야에 관련된 이진 분류 작업에서 높은 정확도를 달성할 수 있는가?

주요 결과

• 유사도 제약 인코딩이 원본 EEG 기준선 대비 가장 뚜렷한 향상을 보였으며, 훨씬 더 큰 모델과 비슷한 분류 정확도를 달성했다.
• 모델 R과 W는 간단함(특히 모델 R은 두 번째 합성곱 레이어를 생략함)에도 불구하고 복잡한 아키텍처와 비슷한 높은 정확도를 달성하여 사전 훈련된 특징의 고질적 품질을 시사한다.
• 레이어 1 필터의 시각화 결과에서 청각 피질(양측 후두 전극)과 고차원 처리 영역(중앙 전극)에서 활성화가 관찰되어 음악에 대한 알려진 뇌 반응과 일치한다.
• 레이어 3 필터는 자극 1–4와 그들의 템포가 일치하는 대응 자극 11–14 간에 강한 유사성을 보였으며, 이는 모델이 다운비트와 같은 음악적으로 의미 있는 시간적 특징을 학습했음을 시사한다.
• 모델 W를 사용한 이진 분류에서 일부 자극 쌍에 대해 완벽한 정확도를 달성하여 BCI 응용 분야에서의 높은 잠재력을 보여주었다.
• 유사도 제약 인코딩과 하이드라넷 적응의 조합은 특징 품질 향상에 매우 높은 잠재력을 보였지만, 현재 구현에서는 높은 계산 비용을 수반한다.