[논문 리뷰] Domain Generalization for Session-Independent Brain-Computer Interface

Dong‐Kyun Han, Ji-Hoon Jeong|arXiv (Cornell University)|2020. 12. 07.

EEG and Brain-Computer Interfaces참고 문헌 35인용 수 6

한 줄 요약

이 논문은 캘리브레이션 없이 다중 피험자/세션 뇌-컴퓨터 인터페이스(BCI) 성능을 달성하기 위해 도메인 일반화(DG) 기법을 도입한 딥러닝 기반 접근법을 제안한다. 실험 결과 깊이 있는 모델인 ResNet1D-18가 다른 모델보다 뛰어난 성능을 보였으며, 놀랍게도 표준 경험적 위험 최소화(ERM) 기법이 명시적인 DG 알고리즘을 능가했고, 피험자별 미세조정(fine-tuning)은 세션 간 변동성으로 인해 일반화 능력을 해칠 수 있음을 확인했다.

ABSTRACT

The inter/intra-subject variability of electroencephalography (EEG) makes the practical use of the brain-computer interface (BCI) difficult. In general, the BCI system requires a calibration procedure to acquire subject/session-specific data to tune the model every time the system is used. This problem is recognized as a major obstacle to BCI, and to overcome it, an approach based on domain generalization (DG) has recently emerged. The main purpose of this paper is to reconsider how the zero-calibration problem of BCI for a realistic situation can be overcome from the perspective of DG tasks. In terms of the realistic situation, we have focused on creating an EEG classification framework that can be applied directly in unseen sessions, using only multi-subject/-session data acquired previously. Therefore, in this paper, we tested four deep learning models and four DG algorithms through leave-one-session-out validation. Our experiment showed that deeper and larger models were effective in cross-session generalization performance. Furthermore, we found that none of the explicit DG algorithms outperformed empirical risk minimization. Finally, by comparing the results of fine-tuning using subject-specific data, we found that subject-specific data may deteriorate unseen session classification performance due to inter-session variability.

연구 동기 및 목표

• BCI의 주요 실용적 장벽인 세션별 캘리브레이션을 제거하기 위해 도메인 일반화 기법을 활용해 캘리브레이션 없는 성능을 달성하는 것.
• 표준 경험적 위험 최소화(ERM) 기법보다 도메인 일반화 알고리즘이 세션 간 EEG 분류 성능을 향상시키는지 평가하는 것.
• 피험자별 데이터로의 미세조정이 EEG 기반 운동 상상 분류에서 미리 보지 못한 세션 성능에 미치는 영향을 조사하는 것.
• 피험자 간 및 피험자 내 변동성으로 인한 도메인 이동 상황에서 세션에 관계없이 안정적인 EEG 분류를 위한 최적의 딥러닝 아키텍처를 규명하는 것.

제안 방법

• 각 세션을 별도의 도메인으로 간주하여, 떠남-한 세션 외부(LOSO) 교차검증 프로토콜을 적용한다.
• 다중 피험자/세션 EEG 데이터에서 네 가지 딥러닝 모델—DeepConvNet, EEGNet, ResNet1D-8, ResNet1D-18—을 학습하고 비교한다.
• 세션 간 일반화 능력을 평가하기 위해 네 가지 도메인 일반화(DG) 알고리즘—DANN, GroupDRO, Mixup, ERM—을 평가한다.
• 학습률, 배치 크기, 적응 파라미터에 대한 랜덤 서치를 통해 하이퍼파ram터 최적화를 수행하며, 각 실험에 대해 세 개의 랜덤 시드를 사용한다.
• 각 피험자의 첫 번째 세션 데이터를 사용해 미세조정을 수행하여, 이로 인한 새로운 세션 성능에 미치는 영향을 평가한다.
• 데이터 泄漏를 방지하기 위해 DG 문헌 관례에 따라 소스 도메인에서 추출한 검증 세트를 사용해 모델 선택을 수행한다.

실험 결과

연구 질문

• RQ1 표준 경험적 위험 최소화(ERM) 기법보다 도메인 일반화 기법이 세션 간 EEG 분류 성능을 향상시키는가?
• RQ2 다중 피험자/세션 EEG 데이터를 학습할 때 모델의 깊이와 용량을 증가시키면 세션 간 일반화 능력이 향상되는가?
• RQ3 세션 간 변동성으로 인해 피험자별 데이터로의 미세조정이 새로운 세션 성능에 얼마나 심각하게 악영향을 미치는가?
• RQ4 도메인 일반화 환경에서 세션 간 EEG 분류에 가장 우수한 성능을 보이는 딥러닝 아키텍처는 무엇인가?

주요 결과

• ResNet1D-18는 모든 피험자 평균 정확도 62.58%를 기록하여 EEGNet(58.61%), DeepConvNet(57.51%), ResNet1D-8(59.11%)를 모두 앞서는 세션 간 분류 성능을 보였다.
• 경험적 위험 최소화(ERM)가 모든 명시적 도메인 일반화 알고리즘을 능가했으며, DANN, GroupDRO, Mixup는 각각 0.89%, 2.43%, 1.76%의 성능 하락을 보였다.
• 피험자별 첫 번째 세션 데이터로의 미세조정은 평균 정확도를 감소시켜, 이러한 데이터가 세션 간 변동성으로 인해 일반화 능력을 악화시킬 수 있음을 시사한다.
• 충분한 다중세션 데이터가 확보된 경우 더 깊고 큰 모델이 세션 간 일반화에 더 효과적이었으며, 이는 데이터가 풍부한 DG 환경에서 모델 용량이 유리함을 시사한다.