[논문 리뷰] Transfer Learning for Motor Imagery Based Brain-Computer Interfaces: A Complete Pipeline

Dongrui Wu, Xue Jiang외 4명|arXiv (Cornell University)|2020. 07. 03.

EEG and Brain-Computer Interfaces참고 문헌 51인용 수 4

한 줄 요약

이 논문은 운동 상상 기반 뇌-컴퓨터 인터페이스(BCI)를 위한 완전한 전이학습(TL) 파이프라인을 제안하며, 데이터 정렬, 공간 필터링, 특징 공학, 분류 등 핵심 구성 요소 전반에 걸쳐 TL를 통합함으로써, 교차-사용자 및 교차-세션 환경에서 분류 정확도를 향상시키고 校정 시간을 줄이는 데 성공했다. 특히 데이터 정렬과 다성분 TL를 조합함으로써 성능 향상이 두드러졌다.

ABSTRACT

Transfer learning (TL) has been widely used in motor imagery (MI) based brain-computer interfaces (BCIs) to reduce the calibration effort for a new subject, and demonstrated promising performance. While a closed-loop MI-based BCI system, after electroencephalogram (EEG) signal acquisition and temporal filtering, includes spatial filtering, feature engineering, and classification blocks before sending out the control signal to an external device, previous approaches only considered TL in one or two such components. This paper proposes that TL could be considered in all three components (spatial filtering, feature engineering, and classification) of MI-based BCIs. Furthermore, it is also very important to specifically add a data alignment component before spatial filtering to make the data from different subjects more consistent, and hence to facilitate subsequential TL. Offline calibration experiments on two MI datasets verified our proposal. Especially, integrating data alignment and sophisticated TL approaches can significantly improve the classification performance, and hence greatly reduces the calibration effort.

연구 동기 및 목표

• 개인 간 EEG 변동성과 비정상성으로 인해 운동 상상 기반 BCI에서 높은 校정 부담이 발생하는 문제를 해결하기 위해.
• 이전의 TL 접근 방식이 BCI 파이프라인의 한두 구성 요소에만 전이학습을 적용한 국한된 한계를 극복하기 위해.
• 데이터 정렬, 공간 필터링, 특징 공학, 분류 등 주요 처리 단계 전반에 걸쳐 전이학습을 통합한 종합적인 TL 프레임워크를 제안하고 검증하기 위해.
• 전이학습 이전에 명시적인 데이터 정렬 단계를 도입하여 사용자 간 도메인 일관성을 향상시키는 영향을 조사하기 위해.
• 교차-사용자 및 교차-세션 BCI 시나리오에서 다성분 TL의 성능을 평가하기 위해.

제안 방법

• 공간 필터링 이전에 소스 도메인과 타겟 도메인 EEG 시험 간 분포 차이를 줄이기 위해 유클리드 정렬(EA)을 사용하는 새로운 데이터 정렬 단계를 도입한다.
• CCSP 및 RCSP와 같은 방법을 활용해 TL 향상된 공간 필터를 사용하여 공간 필터링에 전이학습을 적용한다.
• 도메인 적응형 특징 선택 및 추출 기법을 활용하여 특징 공학에 전이학습을 통합한다.
• LDA, CLDA, wAR 등의 알고리즘을 사용하여 분류에 전이학습을 적용하며, 제한된 레이블이 부여된 타겟 데이터에 대한 일반화 성능 향상을 위해 적응 정규화를 적용한다.
• 그림 2에 나타낸 바와 같이, 시간 필터링, 데이터 정렬, 공간 필터링, 특징 공학, 분류 단계 전반에 걸쳐 체계적으로 TL을 적용하는 완전한 파이프라인을 설계한다.
• 두 개의 MI EEG 데이터셋을 대상으로 오프라인 교차-사용자 및 교차-세션 실험을 수행하여 파이프라인을 검증한다.

실험 결과

연구 질문

• RQ1 운동 상상 BCI 파이프라인의 주요 구성 요소인 데이터 정렬, 공간 필터링, 특징 공학, 분류 전반에 걸쳐 전이학습을 효과적으로 적용할 수 있는가?
• RQ2 공간 필터링 이전에 명시적인 데이터 정렬 단계를 추가함으로써 후속 전이학습 성능에 어떤 영향을 미치는가?
• RQ3 여러 구성 요소에 걸쳐 전이학습을 통합하면 단일 또는 이중 구성 요소에만 TL을 적용하는 경우보다 더 높은 분류 성능를 얻을 수 있는가?
• RQ4 기본적인 CSP-LDA와 비교할 때, 제안된 파이프라인은 정확도 및 校정 효율 측면에서 어떤가?
• RQ5 교차-사용자 및 교차-세션 BCI 응용 분야에서 제안된 TL 파이프라인은 얼마나 많은 校정 노력 감소를 이끌어내는가?

주요 결과

• 특히 데이터 정렬과 공간 필터링, 분류 단계에서의 TL를 통합한 제안된 완전한 TL 파이프라인은 교차-세션 평가에서 데이터셋 2a에서 평균 분류 정확도 75.56% ± 0.05를 기록하여 최고 성능를 달성했다.
• EA-CCSP-wAR 방법은 공간 필터링 및 분류 단계에서 데이터 정렬과 TL를 통합하여, 기준 모델인 CSP-LDA 대비 21.29% 향상된 성능를 보였다.
• 데이터 정렬은 TL 성능 향상에 크게 기여했으며, 모든 데이터 정렬을 적용한 방법이 이를 적용하지 않은 대비에서 성능가 뛰어났다. 이는 도메인 일관성 향상에 있어 데이터 정렬의 핵심적 역할을 확인한다.
• 여러 구성 요소에 걸친 TL 통합은 상호 보완적이었으며, 두 데이터셋 및 평가 시나리오 전반에서 다성분 TL가 단일 구성 요소 TL보다 끊임없이 뛰어난 성능를 보였다.
• 비정상성 있는 사용자에게서도 제안된 파이프라인은 견고한 성능를 유지하여, 세션 간 EEG 신호 변동성을 다루는 데 효과적임을 시사한다.
• 결과적으로 전이학습은 교차-사용자 뿐만 아니라 교차-세션 BCI 응용 분야에서도 매우 효과적이며, 긴 校정 과정의 필요성을 크게 줄인다.