[논문 리뷰] Transfer Learning for Brain-Computer Interfaces: A Complete Pipeline

Dongrui Wu, Ruimin Peng외 2명|arXiv (Cornell University)|2020. 07. 03.

EEG and Brain-Computer Interfaces참고 문헌 33인용 수 4

한 줄 요약

이 논문은 EEG 기반 뇌-컴퓨터 인터페이스(BCI)를 위한 완전한 전이 학습(TL) 파이프라인을 제안하며, 신호 처리, 특징 공학, 분류/회귀 단계에서 TL를 통합하고, 신호 처리 이전에 새로운 데이터 정렬 단계를 도입하여 이면 간 일致성을 향상시킵니다. 이 방법은 校정 작업을 크게 줄이며, 오프라인 실험에서 데이터 정렬과 고급 TL을 결합할 경우 성능 향상이 뚜렷하게 나타납니다.

ABSTRACT

Transfer learning (TL) has been widely used in electroencephalogram (EEG) based brain-computer interfaces (BCIs) to reduce the calibration effort for a new subject, and demonstrated promising performance. After EEG signal acquisition, a closed-loop EEG-based BCI system also includes signal processing, feature engineering, and classification/regression blocks before sending out the control signal, whereas previous approaches only considered TL in one or two such components. This paper proposes that TL could be considered in all three components (signal processing, feature engineering, and classification/regression). Furthermore, it is also very important to specifically add a data alignment component before signal processing to make the data from different subjects more consistent, and hence to facilitate subsequential TL. Offline calibration experiments on two MI datasets verified our proposal. Especially, integrating data alignment and sophisticated TL approaches can significantly improve the classification performance, and hence greatly reduce the calibration effort.

연구 동기 및 목표

• 다양한 처리 단계에서 전이 학습을 활용하여 EEG 기반 BCI 시스템의 校정 작업을 줄이기.
• 신호 처리 이전에 전용 데이터 정렬 구성 요소를 도입하여 EEG 신호의 이면 간 변동성을 해결하기.
• 신호 처리, 특징 공학, 분류 모듈에서 전이 학습의 영향을 체계적으로 평가하기.
• 데이터 정렬과 고급 전이 학습 방법을 결합할 경우 분류 성능이 향상됨을 보여주기.

제안 방법

• 신호 처리 이전에 데이터 정렬 구성 요소를 도입하여 다양한 피험자 간 EEG 신호를 정규화하고, 특징 일致성을 향상시키기.
• 신호 처리 단계에서 원천 피험자로부터 사전 학습된 필터나 표현을 대상 피험자에게 적응시켜 전이 학습을 적용하기.
• 특징 공학 단계에서 원천 피험자로부터 학습된 공간적 또는 시간적 특징을 대상 피험자에게 전이하기.
• 분류/회귀 단계에서 원천 피험자 데이터로 사전 학습된 모델을 새로운 대상 피험자에 대해 미세 조정하여 전이 학습을 구현하기.
• 신호 처리, 특징 공학, 분류 단계의 세 단계에서 모두 전이 학습을 통합한 완전한 엔드 투 엔드 파이프라인 설계하기.
• 두 개의 운동 상상(MI) EEG 데이터셋에 대한 오프라인 캘리브레이션 실험을 통해 파이프라인 검증하기.

실험 결과

연구 질문

• RQ1 모든 세 단계(신호 처리, 특징 공학, 분류)에 전이 학습을 통합할 경우, 단일 또는 이중 단계에만 적용하는 것과 비교해 BCI 성능에 어떤 영향을 미치는가?
• RQ2 신호 처리 이전에 데이터 정렬 단계를 추가함으로써 후속 전이 학습의 효과성에 어떤 영향을 미치는가?
• RQ3 데이터 정렬과 고급 전이 학습 기법을 결합할 경우 EEG 기반 BCI에서 校정 작업을 크게 줄일 수 있는가?
• RQ4 파이프라인 전반에서 다양한 전이 학습 전략 조합이 새로운 피험자에 대한 분류 정확도에 어떤 영향을 미치는가?
• RQ5 각 구성 요소(데이터 정렬, 전이 학습의 신호 처리, 특징 공학, 분류)가 전체 성능 향상에 기여하는 상대적 기여도는 어떠한가?

주요 결과

• 모든 처리 단계에서 데이터 정렬과 고급 전이 학습을 통합하면 새로운 피험자에 대한 분류 성능이 크게 향상됩니다.
• 신호 처리 이전에 데이터 정렬을 수행하면 이면 간 변동성이 효과적으로 감소하여 더 효과적인 전이 학습이 가능해집니다.
• 신호 처리, 특징 공학, 분류의 세 구성 요소 모두에 전이 학습을 적용할 경우, 단일 또는 이중 구성 요소에만 적용하는 것보다 성능이 뛰어납니다.
• 제안된 완전한 파이프라인은 오프라인 실험에서 분류 정확도 향상을 통해 새로운 피험자에 대한 필요 캘리브레이션 시간을 줄입니다.
• 데이터 정렬과 다단계 전이 학습의 조합은 전이 학습을 독립적으로 사용하거나 정렬 없이 사용하는 기준 방법보다 우수한 성능을 보입니다.