[논문 리뷰] Ultra Efficient Transfer Learning with Meta Update for Cross Subject EEG Classification

Tiehang Duan, Mihir Chauhan외 3명|arXiv (Cornell University)|2020. 03. 13.

EEG and Brain-Computer Interfaces참고 문헌 24인용 수 17

한 줄 요약

이 논문은 소수의 레이블된 데이터로 새로운 피험자에게 빠르게 적응하면서 이전에 학습한 피험자 지식을 유지할 수 있는 메타학습 기반 전이학습 방법인 MUPS-EEG를 제안한다. 메타학습된 표현과 메타업데이트 전략을 활용하여 MUPS-EEG는 두 개의 공개 EEG 데이터셋에서 최신 기술 수준을 상회하는 성능을 달성했으며, 정확도에서 최대 3.4% 향상되고 AUC-ROC에서 최대 1.5% 향상되었다.

ABSTRACT

The pattern of Electroencephalogram (EEG) signal differs significantly across different subjects, and poses challenge for EEG classifiers in terms of 1) effectively adapting a learned classifier onto a new subject, 2) retaining knowledge of known subjects after the adaptation. We propose an efficient transfer learning method, named Meta UPdate Strategy (MUPS-EEG), for continuous EEG classification across different subjects. The model learns effective representations with meta update which accelerates adaptation on new subject and mitigate forgetting of knowledge on previous subjects at the same time. The proposed mechanism originates from meta learning and works to 1) find feature representation that is broadly suitable for different subjects, 2) maximizes sensitivity of loss function for fast adaptation on new subject. The method can be applied to all deep learning oriented models. Extensive experiments on two public datasets demonstrate the effectiveness of the proposed model, outperforming current state of the arts by a large margin in terms of both adapting on new subject and retain knowledge of learned subjects.

연구 동기 및 목표

• 뇌-computer 인터페이스(Brain-Computer Interface, BCI) 시스템에서 피험자 간 뚜렷한 EEG 패턴 변동성 문제를 해결한다.
• 최소한의 레이블된 데이터로 새로운, 이전에 보지 못한 피험자에 대해 EEG 분류기를 신속하고 정확하게 적응시킬 수 있도록 한다.
• 적응 과정에서 이전에 학습한 피험자 지식을 상실하는 치명적인 기억 상실을 방지한다.
• 모든 딥러닝 기반 EEG 분류기용 일반화 가능하고 계산적으로 효율적인 전이학습 프레임워크를 개발한다.
• 동적 피험자 변화가 발생하는 실세계 BCI 시스템의 구현을 가능하게 하기 위해 교차 피험자 일반화 능력을 향상시킨다.

제안 방법

• 이 방법은 두 단계의 메타학습 프레임워크를 활용한다: 소스 피험자에 대한 메타 표현 학습과 타겟 피험자에 대한 메타 적응.
• 메타 표현 학습은 여러 소스 피험자로부터 다양한 특징을 추출하여 일반화 능력을 향상시킨다.
• 메타 적응은 타겟 피험자 데이터에 소수의 기울기 단계를 적용하여 모델을 신속하게 미세조정하면서 소스 피험자 지식을 유지한다.
• 메타업데이트 메커니즘은 새로운 데이터에 대한 작은 업데이트에 손실 함수의 민감도를 극대화함으로써 신속한 적응을 최적화한다.
• 이 방법은 모델에 종속적이지 않으며 EEG 분류에 사용되는 어떤 딥러닝 아키텍처에도 적용 가능하다.
• 최적화는 계층적 베이지안 추론 문제로 공식화되어 메타파rameter에 대한 사후분포를 근사함으로써 적응과 지식 유지 간 균형을 이룬다.

실험 결과

연구 질문

• RQ1 메타학습 접근법이 효과적인 교차 피험자 EEG 분류를 위해 필요한 타겟 피험자 데이터의 레이블 수를 크게 줄일 수 있는가?
• RQ2 새로운 피험자에 적응하면서 이전에 학습한 피험자 지식을 얼마나 잘 유지할 수 있는가?
• RQ3 메타학습된 표현 학습이 다양한 피험자 간 EEG 신호 패턴에 걸쳐 일반화 능력을 향상시키는가?
• RQ4 제안된 메타업데이트 전략은 전통적인 전이학습 및 도메인 적응 방법에 비해 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ5 수렴과 최적 성능를 달성하기 위해 타겟 피험자 데이터의 최소량은 얼마인가?

주요 결과

• BCI IV-2a 데이터셋에서 MUPS-EEG는 최신 기술 수준의 방법들보다 최소 2.2% 높은 정확도와 1.3% 높은 AUC-ROC를 달성했다.
• DEAP 데이터셋에서는 MUPS-EEG가 모든 베이스라인보다 최소 3.4% 높은 정확도와 1.5% 높은 AUC-ROC를 기록했다.
• MUPS-EEG는 BCI IV-2a 데이터셋에서 9명의 피험자 중 7명을 70% 이상의 정확도로 분류하여 실용적 BCI 응용의 기준을 충족시켰다.
• 모델은 뛰어난 지식 유지 능력을 보였으며, BCI IV-2a 데이터셋에서 베이스라인 대비 평균 정확도 1.6% 향상되고 평균 AUC-ROC 0.5% 향상되었다.
• 더 도전적인 DEAP 데이터셋에서 MUPS-EEG는 다음으로 우수한 방법에 비해 평균 정확도 2.6% 향상되고 평균 AUC-ROC 0.7% 향상되었다.
• BCI IV-2a에서는 타겟 데이터 2분, DEAP에서는 5분으로 성능 수렴이 이루어져 높은 데이터 효율성을 보였다.