[논문 리뷰] Neuro-BERT: Rethinking Masked Autoencoding for Self-supervised Neurological Pretraining

Di Wu, Siyuan Li외 2명|arXiv (Cornell University)|2022. 04. 20.

EEG and Brain-Computer Interfaces인용 수 11

한 줄 요약

이 논문은 자기지도 학습 전훈 프레임워크인 neuro2vec을 제안한다. 이는 신경생리 신호(EEG/EMG)의 마스킹된 푸리에 스펙트럼 예측을 통해 강건한 표현을 학습한다. 마스킹된 신경생리 신호의 푸리에 변환을 예측하고 역디지털 푸리에 변환(IDFT)을 통해 재구성함으로써, 데이터 증강이 필요 없이도 수면 단계 분류 및 제스처 인식과 같은 후행 작업에서 최신 기술을 초월하는 성능을 달성한다.

ABSTRACT

Deep learning associated with neurological signals is poised to drive major advancements in diverse fields such as medical diagnostics, neurorehabilitation, and brain-computer interfaces. The challenge in harnessing the full potential of these signals lies in the dependency on extensive, high-quality annotated data, which is often scarce and expensive to acquire, requiring specialized infrastructure and domain expertise. To address the appetite for data in deep learning, we present Neuro-BERT, a self-supervised pre-training framework of neurological signals based on masked autoencoding in the Fourier domain. The intuition behind our approach is simple: frequency and phase distribution of neurological signals can reveal intricate neurological activities. We propose a novel pre-training task dubbed Fourier Inversion Prediction (FIP), which randomly masks out a portion of the input signal and then predicts the missing information using the Fourier inversion theorem. Pre-trained models can be potentially used for various downstream tasks such as sleep stage classification and gesture recognition. Unlike contrastive-based methods, which strongly rely on carefully hand-crafted augmentations and siamese structure, our approach works reasonably well with a simple transformer encoder with no augmentation requirements. By evaluating our method on several benchmark datasets, we show that Neuro-BERT improves downstream neurological-related tasks by a large margin.

연구 동기 및 목표

• 제한된 레이블이 부여된 신경생리 신호 데이터 문제를 해결하기 위해, 복잡한 데이터 증강에 의존하지 않는 자기지도 전훈 방법을 개발하는 것.
• 푸리에 도메인의 주파수 및 위상 정보가 신경생리 신호의 의미 있는 표현을 학습하는 데 강력한 인덕티브 바이어스로 기능할 수 있는지 탐색하는 것.
• 시간 도메인에서의 단순하지만 효과적인 마스킹된 자동에코딩 접근을 통해 수면 단계 분류 및 제스처 인식과 같은 EEG 및 EMG 작업의 후행 성능을 향상시키는 것.
• 푸리에 기반 마스킹된 자동에코딩이 신경생리 신호 표현 학습에서 대조적 학습과 시공간 자동재귀 모델링을 모두 능가하는지 입증하는 것.

제안 방법

• 모델은 시간 도메인에서 입력 신경생리 신호의 일부를 마스킹하고, 트랜스포머 인코더를 통해 누락된 신호의 푸리에 스펙트럼(세기 및 위상)을 예측한다.
• 예측된 푸리에 스펙트럼은 역디지털 푸리에 변환(IDFT)을 사용해 시간 도메인으로 다시 변환되어 원본 신호를 재구성한다.
• 모델은 원본 신호와 재구성된 신호 간의 재구성 오차를 최소화하는 마스킹된 자동에코딩 목적함수를 사용해 전훈된다.
• 이 방법은 데이터 증강 없이도 푸리에 도메인의 구조적 불변성을 기반으로 강건한 표현을 학습한다.
• 전훈된 모델은 수면 단계 분류(Sleep-EDF) 및 제스처 인식(Ninapro)과 같은 후행 작업에서 소량의 레이블 데이터로 파인튜닝된다.
• 다양한 마스킹 비율과 예측 타겟(푸리에 스펙트럼 대 역푸리에 재구성)에 대해 평가하여 강인성과 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 신경생리 신호의 푸리에 스펙트럼 예측을 마스킹하는 것이 효과적인 자기지도 전훈 목적함수로 기능할 수 있는가?
• RQ2 푸리에 도메인에서의 마스킹된 자동에코딩 성능이 시공간 자동재귀 모델링과 비교해 어떻게 되는가?
• RQ3 수동으로 설계된 데이터 증강에 의존하는 대조적 학습 방법보다 제안된 방법이 EEG 및 EMG 신호에서 더 우수한 성능을 내는가?
• RQ4 반감성 및 전이 학습 설정에서 소량의 레이블 데이터(1% 또는 10%)가 존재할 경우, 이 방법은 얼마나 효과적인가?

주요 결과

• neuro2vec은 후행 작업에서 대조적 학습과 자동재귀 마스킹된 자동에코딩(MAE)을 모두 능가하며, 수면 단계 분류에서 최대 1.45% 높은 정확도와 2.37% 높은 매크로 F1을 달성한다.
• Ninapro 데이터셋에서 neuro2vec은 손가락 관절 각도 회귀 작업에서 최고 성능을 기록하여, 회귀 작업에 대한 강력한 일반화 능력을 보여준다.
• 1%의 레이블 데이터만을 사용하는 반감성 학습에서, neuro2vec은 무작위 초기화 대비 30.31% 높은 정확도를 기록했고, MAE 대비 4.93% 높은 성능을 보였다.
• 다양한 마스킹 비율에서 안정적인 성능을 기록했으며, 푸리에 스펙트럼의 역푸리에 재구성 예측 시 20–40% 마스킹 비율에서 최적 성능을 보였다.
• 직접 푸리에 스펙트럼을 예측하는 것보다 IDFT를 통한 재구성 방식이 더 높은 성능을 내어, 시간 도메인에서의 재구성이 더 효과적임을 시사한다.
• 제거 분석 결과, 신경생리 신호는 시공간 도메인에서 정보가 희소함을 확인하여, 자동재귀 예측이 비효율적이고 중복됨을 입증한다.