[논문 리뷰] Deep Learning with ConvNET Predicts Imagery Tasks Through EEG

Apdullah Yayık, Yakup Kutlu외 1명|arXiv (Cornell University)|2019. 01. 01.

EEG and Brain-Computer Interfaces참고 문헌 17인용 수 3

한 줄 요약

이 연구는 원시 EEG 데이터에서 직접 상상 손 움직임을 예측하는 주제 독립적 딥 컨볼루션 네트워크 모델을 제안한다. 이는 적응 최적화(Adam), 배치 정규화, 드롭아웃을 활용한다. 이 방법은 79.16%의 정확도를 기록하며, 수작업으로 추출한 스펙트럼 특징을 사용하는 전통적인 완전 연결 네트워크를 능가한다.

ABSTRACT

Deep learning with convolutional neural networks (ConvNets) have dramatically improved learning capabilities of computer vision applications just through considering raw data without any prior feature extraction. Nowadays, there is rising curiosity in interpreting and analyzing electroencephalography (EEG) dynamics with ConvNets. Our study focused on ConvNets of different structures, constructed for predicting imagined left and right movements on a subject-independent basis through raw EEG data. Results showed that recently advanced methods in machine learning field, i.e. adaptive moments and batch normalization together with dropout strategy, improved ConvNets predicting ability, outperforming that of conventional fully-connected neural networks with widely-used spectral features.

연구 동기 및 목표

• 원시 EEG 데이터를 사용하여 사전 특징 공학 없이 상상 운동을 예측하는 주제 독립적 딥 러닝 모델을 개발한다.
• 특히 Adam 최적화, 배치 정규화, 드롭아웃 등의 현대 딥 러닝 기법이 EEG 기반 운동 상상 분류에 미치는 영향을 평가한다.
• 수작업으로 추출한 스펙트럼 특징(예: Welch 주기계)을 사용해 훈련한 전통적인 완전 연결 네트워크와 비교하여 엔드 투 엔드 컨볼루션 네트워크 모델의 성능을 평가한다.
• 109명의 피험자로 구성된 대규모 코hort에서 딥 컨볼루션 네트워크의 일반화 능력을 평가하여 이전의 피험자 수 제한이 있는 연구들에 비해 확장성을 높인다.

제안 방법

• 다중 채널 EEG에서 전극 간 공간 관계를 유지하기 위해 2D 컨볼루션을 사용한 3개의 컨볼루션 레이어로 구성된 딥 컨볼루션 네트워크 아키텍처를 설계하였다.
• 각 컨볼루션 레이어 이후 배치 정규화와 ReLU 활성화 함수를 적용하여 훈련 안정성과 기울기 흐름을 향상시켰다.
• 중첩되지 않는 윈도우를 사용한 최대 풀링을 적용하여 특징 맵을 다운샘플링하고 계산 부담을 줄였다.
• 과적합을 방지하기 위해 완전 연결 레이어 이후 드롭아웃 레이어(p = 0.5)를 통합하였다.
• Adam, RMSProp, 모멘텀을 사용한 SGD의 세 가지 최적화 전략을 사용하여 모델을 훈련시켰으며, 기본 학습률은 0.001로 설정하고 매 10 에포크마다 감소시켰다.
• 과적합을 방지하기 위해 검증 손실 기반 조기 정지 기법을 사용하였으며, 성능이 가장 좋았던 모델 체크포인트로 되돌렸다.

실험 결과

연구 질문

• RQ1 원시 EEG 데이터에서 직접 훈련된 딥 컨볼루션 네트워크가 주제 독립적으로 상상된 왼손 및 오른손 움직임을 높은 정확도로 예측할 수 있는가?
• RQ2 현대 딥 러닝 기법—특히 Adam 최적화, 배치 정규화, 드롭아웃—은 원시 EEG 데이터에서 컨볼루션 네트워크의 성능에 어떤 영향을 미치는가?
• RQ3 엔드 투 엔드 컨볼루션 네트워크 접근 방식이 수작업으로 추출한 스펙트럼 특징(예: Welch 주기계)을 사용해 훈련한 전통적인 완전 연결 네트워크보다 운동 상상 분류에서 성능이 뛰어나게 되는가?
• RQ4 이전 연구들이 피험자 수에 제한을 둔 것과 비교하여, 제안된 모델이 109명의 다양한 피험자 집단에서 일반화 성능이 얼마나 우수한가?

주요 결과

• 제안된 딥 컨볼루션 네트워크 모델은 원시 EEG 데이터를 사용하여 EEGMMI 데이터셋에서 주제 독립적 분류 정확도 79.16%를 달성하였다.
• Adam 최적화가 RMSProp 및 모멘텀을 사용한 SGD보다 뛰어난 성능을 보이며, 세 가지 훈련 전략 중에서 가장 높은 정확도를 기록하였다.
• 배치 정규화와 드롭아웃의 통합은 원시 EEG 입력에서 모델의 일반화 능력을 크게 향상시키고 과적합을 감소시켰다.
• 엔드 투 엔드 컨볼루션 네트워크 접근 방식은 수작업으로 추출한 스펙트럼 특징(예: Welch 주기계)을 사용해 훈련한 전통적인 완전 연결 네트워크를 능가하였으며, 후자는 신뢰할 수 있는 예측을 도출하지 못했다.
• 모델은 109명의 피험자에서 우수한 성능를 보이며, 주제별 적응을 넘어서 강력한 일반화 능력을 입증하였다.
• 최소한의 전처리로도 컨볼루션 네트워크가 의미 있는 시공간 표현을 학습할 수 있었으며, 이는 원시 신호에서 계층적 특징을 직접 추출할 수 있는 모델의 능력을 강조한다.