[논문 리뷰] M3D: Manifold-based Domain Adaptation with Dynamic Distribution for Non-Deep Transfer Learning in Cross-subject and Cross-session EEG-based Emotion Recognition

Ting Luo, Jing Zhang외 5명|arXiv (Cornell University)|2024. 04. 24.

Emotion and Mood Recognition인용 수 4

한 줄 요약

이 논문은 다양체 기반 도메인 적응과 동적 분포 정렬을 활용하여 도메인 분산을 줄이는 비딥러닝 전이학습 프레임워크인 MDDD를 제안한다. EEG 데이터를 그라스만 맨포ลด로 매핑하고, 균근 및 조건부 분포를 반복적으로 정렬함으로써, 다양한 피험자와 세션 간의 일반화 성능을 향상시킨다. 이로 인해 비딥러닝 방법 대비 평균 정확도 향상 3.54%를 달성하고, 딥러닝 모델과 비교할 만한 성능을 확보한다.

ABSTRACT

Emotion decoding using Electroencephalography (EEG)-based affective brain-computer interfaces (aBCIs) plays a crucial role in affective computing but is limited by challenges such as EEG's non-stationarity, individual variability, and the high cost of large labeled datasets. While deep learning methods are effective, they require extensive computational resources and large data volumes, limiting their practical application. To overcome these issues, we propose Manifold-based Domain Adaptation with Dynamic Distribution (M3D), a lightweight, non-deep transfer learning framework. M3D consists of four key modules: manifold feature transformation, dynamic distribution alignment, classifier learning, and ensemble learning. The data is mapped to an optimal Grassmann manifold space, enabling dynamic alignment of source and target domains. This alignment is designed to prioritize both marginal and conditional distributions, improving adaptation efficiency across diverse datasets. In classifier learning, the principle of structural risk minimization is applied to build robust classification models. Additionally, dynamic distribution alignment iteratively refines the classifier. The ensemble learning module aggregates classifiers from different optimization stages to leverage diversity and enhance prediction accuracy. M3D is evaluated on two EEG emotion recognition datasets using two validation protocols (cross-subject single-session and cross-subject cross-session) and a clinical EEG dataset for Major Depressive Disorder (MDD). Experimental results show that M3D outperforms traditional non-deep learning methods with a 4.47% average improvement and achieves deep learning-level performance with reduced data and computational requirements, demonstrating its potential for real-world aBCI applications.

연구 동기 및 목표

• EEG 기반 정서 인식에서 비정상성과 개인 간 변동성을 해결함으로써, 다양한 피험자와 세션 간의 모델 일반화 능력을 향상시키기 위해.
• i.i.d. 데이터를 가정하는 전통적인 비딥러닝 방법의 한계를 극복하기 위해, 소규모이며 레이블링이 어려운 EEG 데이터셋을 가진 도메인 간 전이 설정에서의 성능을 향상시키기 위해.
• 딥러닝 기반 접근 방식에 비해 큰 레이블 데이터셋과 높은 계산 자원에 의존하지 않는 경량 비딥러닝 전이학습 프레임워크를 개발하기 위해.
• 다양체 기하학을 활용해 소스 및 타겟 도메인 간 균근 및 조건부 분포를 동적으로 정렬함으로써 모델의 강건성과 성능을 향상시키기 위해.
• 최적화 단계를 거쳐 축적된 모델들을 통합하는 반복적 분류기 학습 및 앙상블 학습을 통해 분류의 신뢰도를 향상시키기 위해.

제안 방법

• EEG 신호를 최적의 그라스만 맨포ลด로 매핑하여 내재된 데이터 구조를 더 잘 포착하고 도메인 분산을 줄이기 위해.
• 데이터 특성에 따라 균근 및 조건부 분포의 중요도를 적응적으로 가중하는 동적 분포 정렬을 구현하여 특징 정렬 과정에서의 유연성을 확보하기 위해.
• 분포 이동 상황에서도 잘 일반화되는 강건한 모델을 구축하기 위해 분류기 학습 과정에 구조적 리스크 최소화를 통합하기 위해.
• 동적 분포 정렬을 활용해 반복적으로 분류기를 개선함으로써 예측 성능를 점진적으로 향상시키기 위해.
• 다양체 최적화 단계에서 생성된 분류기를 통합하는 데 링크클루에(LinkCLuE)를 활용한 앙상블 학습을 통해 다양성과 예측 안정성을 향상시키기 위해.
• 다양체 최적화 과정에서 맨포르드 변환, 분포 정렬, 분류기 학습, 앙상블 학습을 순차적으로 적용하는 다단계 최적화 프로세스를 적용하기 위해.

실험 결과

연구 질문

• RQ1 비딥러닝 전이학습 프레임워크가 피험자 간 및 세션 간 EEG 기반 정서 인식에서 도메인 분산을 효과적으로 줄일 수 있는가?
• RQ2 그라스만 맨포르드 상에서 균근 및 조건부 분포를 동적으로 정렬하는 것이 정적 또는 단일 분포 정렬 대비 모델 일반화 능력을 얼마나 향상시키는가?
• RQ3 구조적 리스크 최소화를 통한 반복적 분류기 학습이 낮은 데이터 환경에서 분류의 강건성을 얼마나 향상시키는가?
• RQ4 다양체 최적화 단계를 거쳐 예측을 융합하는 데 있어 앙상블 학습이 전체 정확도 및 안정성 향상에 얼마나 효과적인가?
• RQ5 제안된 MDDD 프레임워크가 더 작은 레이블 데이터셋과 낮은 계산 자원 요구량을 감안할 때 딥러닝 모델과 비교해 유사한 성능을 달성할 수 있는가?

주요 결과

• MDDD는 피험자 간 및 세션 간 EEG 기반 정서 인식 작업에서 전통적인 비딥러닝 학습 방법 대비 평균 정확도 향상 3.54%를 달성한다.
• 모델 성능은 10회 이상 최적화 반복 후에도 안정적으로 유지되며, 이후 정확도가 최소한으로 변동된다.
• 학습 과정에서 μ 매개변수를 동적으로 조정함으로써 균근 및 조건부 분포의 가중치를 적응적으로 반영함으로써 데이터 표현 및 정렬 능력이 향상된다.
• 링크클루에 방법을 활용한 앙상블 학습은 평균화 및 투표 전략보다 뛰어난 성능을 보이며, 반복 단계 간 분류 결과를 융합하는 데 뛰어난 능력을 보인다.
• 반복적 개선을 통한 분류기 학습이 평가 지표(예: 오차율)를 크게 감소시켜 모델의 강건성에 미치는 영향을 확인한다.
• 소규모 레이블 데이터셋과 낮은 계산 자원 요구량 조건에서도 딥러닝 방법과 유사한 성능을 달성함으로써, 실생활 aBCI 응용 분야에 적합한 것으로 확인된다.