[논문 리뷰] An end-to-end (deep) neural network applied to raw EEG, fNIRs and body motion data for data fusion and BCI classification task without any pre-/post-processing

Aras R. Dargazany, Mohammadreza Abtahi외 1명|arXiv (Cornell University)|2019. 07. 17.

EEG and Brain-Computer Interfaces참고 문헌 19인용 수 11

한 줄 요약

이 논문은 인간 운동 활동을 분류하기 위해 원시적이고 처리되지 않은 EEG, fNIRS 및 동작 캡처(MoCap) 데이터를 사용하는 엔드 투 엔드 딥 네ural 네트워크를 제안한다. 이는 사전 또는 사후 처리가 필요 없음을 보여준다. 모델은 배치 정규화와 리키 ReLU를 적용한 4층의 완전 연결 다층퍼셉트론(MLP) 기반으로, 10명의 피험자와 5개 클래스의 활동 인식 작업에서 90% 이상의 테스트 정확도를 달성하여 딥 러닝이 BCI 시스템에서 전통적인 신호 처리를 우회할 수 있음을 입증한다.

ABSTRACT

Brain computer interfaces (BCI) using EEG, fNIRS and body motion (MoCap) data are getting more attention due to the fact that fNIRS and MoCap are not prone to movement artifacts similar to other brain imaging techniques such as EEG. Advancements in deep learning (neural networks) would allow the use of raw data for efficient feature extraction without any pre-/post-processing. In this work, we are performing human activity recognition (BCI classification task) for 5 activity classes using an end-to-end (deep) neural network (NN) (from input all the way to the output) on raw fNIRS, EEG and MoCap data. Our core contribution is focused on applying an end-to-end NN model without any pre-/post-processing on the data. The entire NN model is being trained using backpropagation algorithm. Our end-to-end model is composed of a four-layered MLP: input layer, two hidden layers (using fully connected (dense) layer, batch normalization and leaky-RELU as non-linearity and activation function), and output layer using softmax. We have reached minimum 90\% accuracy on the test dataset for the classification task on 10 subjects data and 5 classes of activity.

연구 동기 및 목표

• BCI 분류 파이프라인에서 수동적인 사전 처리 및 특징 추출을 제거하기 위해.
• 엔드 투 엔드 딥 러닝이 원시 다중 모odal 신경생리학적 및 동작 데이터에서 높은 정확도를 달성할 수 있는지 평가하기 위해.
• 딥 네URAL 네트워크가 필터링이나 노이즈 제거 없이도 원시 신호로부터 관련 특징을 자동으로 학습할 수 있음을 입증하기 위해.
• 원시 fNIRS, EEG 및 MoCap 데이터를 사용한 완전 자동화된 데이터 기반 BCI 분류 시스템의 실현 가능성을 검증하기 위해.
• 동일한 데이터셋을 사용하여 엔드 투 엔드 모델의 성능을 기존 파이프라인과 비교하기 위해.

제안 방법

• 백프로파게이션을 사용하여 Adam 옵티마이저로 원시적이고 처리되지 않은 EEG, fNIRS 및 MoCap 신호를 기반으로 엔드 투 엔드 딥 네URAL 네트워크를 훈련한다.
• 모델 아키텍처는 4층의 완전 연결 다층퍼셉트론(MLP): 입력층, 두 개의 은닉층(완전 연결 레이어), 배치 정규화, 리키 ReLU 활성화 함수를 거쳐 소프트맥스 출력층으로 구성된다.
• 신호의 필터링, 다운샘플링 또는 특징 추출은 네트워크에 입력되기 이전에 적용되지 않는다.
• 10명의 피험자가 오른쪽/왼쪽 팔/다리, 양팔 운동을 수행하는 5가지 운동 활동에 대해 원시 시계열 데이터를 기반으로 네트워크를 엔드 투 엔드로 훈련한다.
• 다중 클래스 분류를 위해 소프트맥스 출력과 함께 분류 교차 엔트로피 손실 함수를 사용한다.
• 구현 코드와 데이터셋은 재현 가능성을 위해 GitHub에 공개되어 있다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 네URAL 네트워크는 BCI 작업을 위해 원시적이고 처리되지 않은 EEG, fNIRS 및 MoCap 데이터에서 높은 분류 정확도를 달성할 수 있는가?
• RQ2 딥 러닝을 사용할 경우, 정확한 BCI 분류를 위해 수동적인 사전 처리나 특징 추출이 필수적인가?
• RQ3 수동 특징 추출에 의존하는 전통적인 BCI 파이프라인과 비교해 볼 때 엔드 투 엔드 모델의 성능은 어떠한가?
• RQ4 간단한 MLP 아키텍처는 원시 다중 모달 신경생리학적 신호로부터 분류 가능한 패턴을 효과적으로 학습할 수 있는가?
• RQ5 사전 처리가 없는 상황에서 모델의 일반화 능력이나 강건성은 피험자 간에 영향을 받는가?

주요 결과

• 엔드 투 엔드 딥 네URAL 네트워크는 원시 fNIRS, EEG 및 MoCap 데이터를 사용한 5개 클래스의 인간 활동 인식 작업에서 최소 90%의 분류 정확도를 달성했다.
• 필터링, 노이즈 제거 및 특징 추출 등의 사전 처리 단계가 고성능 BCI 분류에 필요하지 않음을 모델이 입증했다.
• 원시 fNIRS 데이터만으로도 네트워크가 77–80%의 정확도를 달성하여 단일 모odal에서도 뛰어난 성능을 보였다.
• 결과는 딥 네URAL 네트워크가 원시 시계열 신호로부터 국소적이고 전역적인 특징을 자동으로 학습할 수 있음을 검증한다.
• 구현 코드는 GitHub에 공개되어 있어 재현성과 향후 벤치마킹을 가능하게 한다.
• 본 연구는 향후 BCI 시스템이 수동 신호 처리에 의존하지 않고 완전히 자동화된 데이터 기반 파이프라인을 채택할 수 있음을 시사한다.