[논문 리뷰] Motor Imagery Decoding Using Ensemble Curriculum Learning and Collaborative Training

Georgios Zoumpourlis, Ioannis Patras|arXiv (Cornell University)|2022. 11. 21.

Robotics and Automated Systems인용 수 5

한 줄 요약

이 논문은 EEG 기반 BCI에서 교차 주체 모터 이미지 인식을 위한 엔트리-투-엔드 학습 가능한 앙상블 모델을 제안하며, 특징 추출기의 전문화를 위해 커리큘럼 학습을, 협업 학습을 가능하게 하기 위해 지식 정련을 결합한다. 이 방법은 이전 접근 방식보다 훨씬 적은 파라미터로 Physionet 및 OpenBMI 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this work, we study the problem of cross-subject motor imagery (MI) decoding from electroencephalography (EEG) data. Multi-subject EEG datasets present several kinds of domain shifts due to various inter-individual differences (e.g. brain anatomy, personality and cognitive profile). These domain shifts render multi-subject training a challenging task and also impede robust cross-subject generalization. Inspired by the importance of domain generalization techniques for tackling such issues, we propose a two-stage model ensemble architecture built with multiple feature extractors (first stage) and a shared classifier (second stage), which we train end-to-end with two novel loss terms. The first loss applies curriculum learning, forcing each feature extractor to specialize to a subset of the training subjects and promoting feature diversity. The second loss is an intra-ensemble distillation objective that allows collaborative exchange of knowledge between the models of the ensemble. We compare our method against several state-of-the-art techniques, conducting subject-independent experiments on two large MI datasets, namely PhysioNet and OpenBMI. Our algorithm outperforms all of the methods in both 5-fold cross-validation and leave-one-subject-out evaluation settings, using a substantially lower number of trainable parameters. We demonstrate that our model ensembling approach combining the powers of curriculum learning and collaborative training, leads to high learning capacity and robust performance. Our work addresses the issue of domain shifts in multi-subject EEG datasets, paving the way for calibration-free brain-computer interfaces. We make our code publicly available at: https://github.com/gzoumpourlis/Ensemble-MI

연구 동기 및 목표

• 개인 간 신경생리학적 및 인지적 차이로 인한 다중 주체 EEG 데이터의 도메인 이동 문제를 해결한다.
• 학습 중에 타겟 주체 데이터가 필요 없이 EEG 기반 뇌-컴퓨터 인터페이스에서 교차 주체 일반화를 향상시킨다.
• 특징 다양성과 모델 협업을 향상시키는 단일 단계, 엔트리-투-엔드 학습 가능한 모델 아키텍처를 개발한다.
• 기존의 다수의 학습 실행 또는 복잡한 아키텍처에 의존하는 앙상블 방법과 비교해 계산 복잡도와 모델 선택 부담을 감소시킨다.

제안 방법

• 첫 번째 단계에 K개의 별도 특징 추출기가 있고 두 번째 단계에 공유 분류기가 있는 이중 단계 앙상블 아키텍처를 설계한다.
• 개별 주체를 위한 커리큘럼 학습 손실($\mathcal{L}_{\mathrm{subj}}$)과 앙상블 내부 지식 정련 손실($\mathcal{L}_{\mathrm{dist}}$)을 조합한 복합 손실 함수를 사용해 모델을 엔트리-투-엔드로 학습시킨다.
• 각 특징 추출기를 특정 주체 집합에 할당하여 커리큘럼 학습을 적용함으로써 전문화와 특징 다양성을 촉진한다.
• 지식 정련을 통해 소프트 레이블 지도를 통한 특징 추출기 간 지식 공유를 허용하여 일반화 능력과 강건성을 향상시킨다.
• 다양성과 협업 학습을 균형 잡기 위해 총 손실 $\mathcal{L}_{\mathrm{total}} = \mathcal{L}_{\mathrm{subj}} + \lambda \mathcal{L}_{\mathrm{dist}}$ 를 최적화한다.
• Physionet 및 OpenBMI 데이터셋에서 5겹 교차검증과 한 주체를 제외한 검증 프로토콜을 통해 주체 독립적 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 커리큘럼 학습이 EEG 기반 모델 앙상블에 효과적으로 적용되어 특징 다양성과 교차 주체 일반화를 향상시킬 수 있는가?
• RQ2 지식 정련을 통한 협업 학습이 모델 복잡도를 증가시키지 않으면서도 다중 주체 EEG 해석 성능을 향상시킬 수 있는가?
• RQ3 커리큘럼 학습과 정련의 조합이 표준 앙상블 또는 단일 모델 학습과 비교해 주체 독립적 MI 해석에서 어떻게 성능을 높이는가?
• RQ4 단일 단계 엔트리-투-엔드 학습 절차가 EEG 기반 BCI 시스템에서 다단계 또는 주체별 학습 전략을 능가할 수 있는가?

주요 결과

• Physionet 데이터셋에서 K=7일 때 5겹 교차검증에서 86.36%의 정확도를 기록하여 표준 앙상블 기준선보다 0.83% 높은 성능을 달성했다.
• OpenBMI 데이터셋에서 K=3일 때 79.73%의 정확도를 기록하여 표준 앙상블 기준선보다 0.65% 향상되었고, 커리큘럼 학습만을 사용한 경우보다 0.44% 향상되었다.
• 제거 실험에서 커리큘럼 학습만으로도 OpenBMI에서 최대 0.15% 향상되었고, Physionet에서도 최대 0.15% 향상되었으며, K=6 및 K=7일 때 가장 높은 성과를 기록했다.
• 정련 손실의 포함으로 모든 K 값에서 일관된 성능 향상이 관찰되었고, Physionet 데이터셋에서 K=7일 때 가장 큰 향상 폭인 +0.68%를 기록했다.
• 커리큘럼 학습이 생략된 경우 성능 포화 현상이 발생하여, 앙상블 설정에서 높은 모델 용량을 확보하기 위해 강제적인 다양성이 필수적임을 시사했다.
• 이전의 IENet 및 다중 작업 학습 기준선과 비교해 훨씬 적은 학습 가능한 파라미터로 최신 기술 수준의 결과를 달성했다.