[논문 리뷰] ScalingNet: extracting features from raw EEG data for emotion recognition

Jingzhao Hu, Chen Wang외 3명|arXiv (Cornell University)|2021. 02. 07.

EEG and Brain-Computer Interfaces참고 문헌 25인용 수 4

한 줄 요약

이 논문은 원시 EEG 신호에서 수동으로 설계된 특징 없이도 스펙트로그램 유사 특징을 자동으로 추출할 수 있는 데이터 기반 스케일링 레이어를 사용하는 새로운 엔드 투 엔드 딥 러닝 아키텍처인 ScalingNet을 제안한다. 이 방법은 DEAP 벤치마크에서 각각 각성도 69.99%, 정서적 가치 71.13%, 지배성 70.78%의 정확도로 최신 기술 수준 성능을 달성하며, 수동 특징 설계 없이도 뛰어난 강건성과 일반화 능력을 입증한다.

ABSTRACT

Convolutional Neural Networks(CNNs) has achieved remarkable performance breakthrough in a variety of tasks. Recently, CNNs based methods that are fed with hand-extracted EEG features gradually produce a powerful performance on the EEG data based emotion recognition task. In this paper, we propose a novel convolutional layer allowing to adaptively extract effective data-driven spectrogram-like features from raw EEG signals, which we reference as scaling layer. Further, it leverages convolutional kernels scaled from one data-driven pattern to exposed a frequency-like dimension to address the shortcomings of prior methods requiring hand-extracted features or their approximations. The proposed neural network architecture based on the scaling layer, references as ScalingNet, has achieved the state-of-the-art result across the established DEAP benchmark dataset.

연구 동기 및 목표

• 수동으로 추출된 EEG 특징의 한계를 해결하기 위해, 강력한 가정에 의존하고 작업에 특화된 특징을 사용하는 것의 문제점을 해결하고자 한다.
• 원시 EEG 신호로부터 강력하고 데이터 기반의 표현을 자동으로 학습할 수 있는 엔드 투 엔드 딥 러닝 프레임워크를 개발하고자 한다.
• EEG 기반 정서 인식에서 데이터 정렬 및 특징 설계가 필요 없도록 하기 위해 노력한다.
• 주파수 유사 표현을 추출할 수 있도록 동적으로 스케일링되는 컨볼루션 커널을 생성하는 새로운 컨볼루션 레이어를 설계하고자 한다.

제안 방법

• 단일 데이터 기반 패턴에서 스케일링을 통해 다수의 컨볼루션 커널을 생성하는 스케일링 레이어를 도입한다.
• 이 스케일링된 커널을 원시 EEG 신호에 적용하여 시간과 주파수 유사 정보를 모두 캡처하는 스펙트로그램 유사 특징 맵을 생성한다.
• 모델은 완전히 컨볼루션 기반이며 기존 딥 러닝 모델과 호환되어 엔드 투 엔드 학습이 가능하다.
• 정렬 또는 분할이 필요 없이 다양한 길이의 EEG 신호를 처리할 수 있도록 설계되어 있다.
• 학습 가능한 기본 커널을 사용하여 다중 수준에서 적응적으로 스케일링되어 주파수 해상도를 시뮬레이션한다.
• 표준 백프로파게이션과 최적화를 사용하여 원시 EEG 데이터에서 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 수동 특징 없이 데이터 기반의 컨볼루션 레이어가 원시 EEG 신호에서 강력하고 스펙트로그램 유사 특징을 추출할 수 있는가?
• RQ2 EEG 기반 정서 인식에서 표준 컨볼루션 레이어와 비교해 스케일링 레이어의 성능은 어떻게 되는가?
• RQ3 대표 표현 능력과 정확도 측면에서 스케일링 레이어의 최적 모델 용량(기본 커널 길이)은 무엇인가?
• RQ4 스케일링 레이어가 생성한 특징 맵의 해석 가능성은 주파수 유사 패턴 측면에서 어떻게 평가될 수 있는가?
• RQ5 제안된 엔드 투 엔드 아키텍처가 표준 EEG 정서 인식 벤치마크에서 기존 최신 기술 수준의 방법들을 초월하는가?

주요 결과

• ScalingNet은 DEAP 벤치마크에서 각각 각성도 69.99%, 정서적 가치 71.13%, 지배성 70.78%의 정확도로 최신 기술 수준의 성능을 달성했다.
• 스케일링 레이어는 표준 컨볼루션 레이어보다 뛰어난 성능을 보였으며, 각성도 정확도에서 4.25%p의 절대적 향상(69.99% 대 65.74%)을 기록했다.
• 최적의 모델 용량은 기본 커널 길이 33로, 이는 표현 능력과 인식 정확도를 최대화하는 데 기여했다.
• 특징 맵의 시각화 결과에서 저주파수 및 고주파수 유사 에너지 패턴이 뚜렷하게 드러나, 레이어가 의미 있는 스펙트럼 표현을 학습하고 있음을 시사했다.
• 절단 실험 결과 스케일링 레이어가 특징 추출 및 일반화 능력을 크게 향상시키며 성능 향상에 결정적인 역할을 한다는 것이 확인되었다.