[논문 리뷰] Transfer Learning for EEG-Based Brain-Computer Interfaces: A Review of Progress Made Since 2016

Dongrui Wu, Yifan Xu외 1명|arXiv (Cornell University)|2020. 04. 13.

EEG and Brain-Computer InterfacesNeuroscience참고 문헌 117인용 수 17

한 줄 요약

이 논문은 2016년 이후 뇌-컴퓨터 인터페이스(BCI)에 응용된 전이학습(TL) 기법을 종합적으로 검토하며, 모터 상상, 사건 관련 잠재적 반응, 안정된 시각 자극에 의한 유도된 전위, 정서적 BCI, 회귀 문제, 그리고 악성 공격을 포함한 여섯 가지 범주에서의 이면, 이세션, 이기기, 이과목 전이를 중심으로 다룬다. Riemann 기하학과 딥러닝이 부상하고 있는 주요 기법으로 지목되며, 이면 전이와 같은 미개척 분야가 있으며, 활성 학습과 같은 다른 방법과의 통합을 통해 성능 향상과 校정 필요성 감소를 강조한다.

ABSTRACT

A brain-computer interface (BCI) enables a user to communicate with a computer directly using brain signals. The most common non-invasive BCI modality, electroencephalogram (EEG), is sensitive to noise/artifact and suffers between-subject/within-subject non-stationarity. Therefore, it is difficult to build a generic pattern recognition model in an EEG-based BCI system that is optimal for different subjects, during different sessions, for different devices and tasks. Usually, a calibration session is needed to collect some training data for a new subject, which is time-consuming and user unfriendly. Transfer learning (TL), which utilizes data or knowledge from similar or relevant subjects/sessions/devices/tasks to facilitate learning for a new subject/session/device/task, is frequently used to reduce the amount of calibration effort. This paper reviews journal publications on TL approaches in EEG-based BCIs in the last few years, i.e., since 2016. Six paradigms and applications -- motor imagery, event-related potentials, steady-state visual evoked potentials, affective BCIs, regression problems, and adversarial attacks -- are considered. For each paradigm/application, we group the TL approaches into cross-subject/session, cross-device, and cross-task settings and review them separately. Observations and conclusions are made at the end of the paper, which may point to future research directions.

연구 동기 및 목표

• 2016년 이후 EEG 기반 뇌-컴퓨터 인터페이스(BCI)를 위한 전이학습(TL)의 최근 발전을 체계적으로 검토하는 것.
• 모터 상상, 사건 관련 잠재적 반응, 안정된 시각 자극에 의한 유도된 전위, 정서적 BCI, 회귀 문제, 악성 공격을 포함한 여섯 가지 BCI 범주에서 TL 기법을 분석하는 것.
• 이면, 이세션, 이기기, 이과목 설정에서 TL의 효과성을 평가하여 EEG-BCI 시스템의 校정 부담을 줄이는 것.
• 연구 격차와 부상하고 있는 추세를 파악하며, 특히 이과목 전이와 활성 학습 통합과 같은 미개척 분야에 초점을 맞추는 것.
• 더 강력하고 일반화 능력이 뛰어나며 사용자 우호적인 EEG-BCI 시스템 개발을 위한 향후 방향성에 대한 통찰을 제공하는 것.

제안 방법

• 논문은 2016년 이후 EEG-BCI에서의 전이학습(TL)에 관한 학술지 논문을 체계적으로 검토하며, 전이 설정 기반으로 분류한다: 이면/이세션, 이기기, 이과목.
• 각 BCI 범주에 대해 도메인 적응, 거리 측정 학습, 딥 네트워크 아키텍처 등의 핵심 기법을 기반으로 TL 기법을 그룹화하고 분석한다.
• 주요 기법으로는 공분산 행렬 모델링을 위한 Riemann 기하학, EEGNet과 Deep ConvNet과 같은 딥러닝 아키텍처, 그리고 전이 커널 공분산 공간 기법(TK-CSP)과 같은 신호 처리 기법을 검토한다.
• 시험 정렬(예: Riemann 정렬, 예시 정렬), 특징 선택(예: CSDF-ReliefF, CSDF-mRMR), 신호 필터링 및 표현 학습과의 통합 방법을 평가한다.
• 논문은 또한 악성 설정에서의 TL을 검토하며, 다양한 모델과 도메인 간에 악성 예측의 전이 가능성을 활용한다.
• 활성 학습과 같은 다른 기계 학습 기법과의 TL 통합은 보다 낮은 校정 데이터 요구량을 향한 길로 논의된다.

실험 결과

연구 질문

• RQ1 2016년 이후 다양한 범주와 전이 설정에서 EEG 기반 BCI에서의 전이학습 기법은 어떻게 진화해 왔는가?
• RQ2 이면 및 이세션 EEG-BCI 응용에서 校정 시간을 줄이기 위해 가장 효과적인 TL 기법은 무엇인가?
• RQ3 정서적 BCI 및 사용자 상태 추정을 위한 회귀 기반 응용과 같은 새로운 BCI 응용에 전이학습을 얼마나 적용할 수 있는가?
• RQ4 왜 EEG-BCI에서의 이과목 전이는 대부분 미개척 상태이며, 이러한 기법 개발의 잠재적 이점은 무엇인가?
• RQ5 전이학습을 어떻게 효과적으로 악성 공격 프레임워크와 통합하여 EEG-BCI 시스템에서의 공격 전이 가능성 향상을 도모할 수 있는가?

주요 결과

• 이면 및 이세션 전이가 가장 많이 연구된 설정이며, 도메인 적응 및 딥러닝 기반 기법에서 상당한 진전이 있었다.
• Riemann 기하학과 딥러닝이 공분산 행렬 모델링 및 불변 표현 학습에 특히 유망한 주요 기법으로 부상하고 있다.
• 2016년 이후 이과목 전이에 관한 연구는 단 한 건 뿐이었으며, 이 분야에 중대한 연구 격차가 있음을 시사한다.
• EEG-BCI에서의 악성 공격은 악성 예측의 전이 가능성을 바탕으로 하며, 명시적인 TL 통합은 블랙박스 환경에서의 공격 성공률 향상에 기여할 수 있다.
• TL은 분류 외에도 신호 필터링(예: TK-CSP), 특징 선택(예: CSDF-ReliefF), 시험 정렬(예: RA, EA) 등 다양한 분야에 적용되어 전체 파이프라인 성능 향상에 기여한다.
• TL과 활성 학습의 통합은 校정 데이터 요구량을 추가로 줄일 수 있음을 입증하였으며, 향후 BCI 시스템에 대한 유망한 하이브리드 접근법으로 제시된다.