[논문 리뷰] PR-PL: A Novel Transfer Learning Framework with Prototypical Representation based Pairwise Learning for EEG-Based Emotion Recognition

Rushuang Zhou, Zhiguo Zhang외 8명|arXiv (Cornell University)|2022. 02. 14.

EEG and Brain-Computer Interfaces인용 수 8

한 줄 요약

이 논문은 개인 간 차이와 노이즈가 있는 레이블에 대해 강건하고 일반화 능력이 뛰어난 EEG 기반 정서 인식을 위한 새로운 전이 학습 프레임워크인 PR-PL을 제안한다. 이 프레임워크는 원형 표현과 쌍별 학습을 활용하여 도메인 간 특징을 적대적 도메인 적응을 통해 정렬하고, 적응형 가짜 레이블링을 통해 모델 안정성을 향상시킨다. PR-PL은 SEED 및 SEED-IV 데이터셋에서 네 가지 교차 검증 프로토콜 전반에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Affective brain-computer interfaces based on electroencephalography (EEG) is an important branch in the field of affective computing. However, individual differences and noisy labels seriously limit the effectiveness and generalizability of EEG-based emotion recognition models. In this paper, we propose a novel transfer learning framework with Prototypical Representation based Pairwise Learning (PR-PL) to learn discriminative and generalized prototypical representations for emotion revealing across individuals and formulate emotion recognition as pairwise learning for alleviating the reliance on precise label information. Extensive experiments are conducted on two benchmark databases under four cross-validation evaluation protocols (cross-subject cross-session, cross-subject within-session, within-subject cross-session, and within-subject within-session). The experimental results demonstrate the superiority of the proposed PR-PL against the state-of-the-arts under all four evaluation protocols, which shows the effectiveness and generalizability of PR-PL in dealing with the ambiguity of EEG responses in affective studies. The source code is available at https://github.com/KAZABANA/PR-PL.

연구 동기 및 목표

• 개인 간 차이가 정서 인식 성능에 영향을 미치는 문제를 해결하여, 다양한 피험자 간 일반화 능력을 향상시키기 위해.
• 정확한 레이블에 대한 의존도를 줄이기 위해, 노이즈가 있거나 정밀도가 떨어지는 정서 레이블에 대해 내성적인 학습 프레임워크를 개발하기 위해.
• 감정 카테고리 내에서 농축되고 카테고리 간에 분리되는 원형 표현을 학습하여 특징의 분류 능력을 향상시키기 위해.
• 다른 피험자나 세션 간의 EEG 정서 인식 환경에서 모델의 안정성과 성능을 향상시키기 위해.
• 샘플 간 상대적 관계를 더 잘 포착하기 위해 정서 인식 문제를 쌍별 학습으로 재정의하여 절대적 레이블 정확도에 대한 의존도를 줄이기 위해.

제안 방법

• EEG 데이터의 감정 관련 의미적 구조를 인코딩하기 위해 원형 표현 기반의 적대적 분류적 도메인 적응 방법을 사용한다.
• 노이즈가 있는 레이블 조건 하에서 모델의 강건성을 향상시키기 위해 적응형 가짜 레이블링을 포함한 쌍별 학습을 도입한다.
• 원천 도메인과 타겟 도메인의 특징 표현을 공통 공간에서 정렬하면서도, 내부 클래스의 밀도와 외부 클래스의 분리도를 유지한다.
• 학습된 표현의 군집 품질을 정성적으로 평가하기 위해 T-SNE 시각화를 활용한다.
• 도메인 적응과 쌍별 학습을 통합된 학습 파이프라인으로 통합하여 도메인 불변성과 레이블 노이즈에 대한 내성성을 동시에 최적화한다.
• 원형 표현 학습을 위한 대비 손실과 상대적 샘플 비교를 위한 쌍별 순서 손실을 조합하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 원형 표현을 활용한 전이 학습 프레임워크가 개인 간 차이가 존재하는 조건에서 교차 피험자 EEG 기반 정서 인식 성능을 향상시킬 수 있는가?
• RQ2 적응형 가짜 레이블링을 포함한 쌍별 학습이 EEG 정서 인식에서 노이즈가 있는 레이블 조건 하에서 성능 저하를 얼마나 효과적으로 완화하는가?
• RQ3 제안된 PR-PL 프레임워크는 다양한 교차 검증 프로토콜(예: 교차 피험자 대 비교, 내부 피험자 대 비교; 교차 세션 대 비교, 내부 세션 대 비교)에서 얼마나 높은 성능를 유지하는가?
• RQ4 원형 표현 학습의 통합이 EEG 기반 정서 인식에서 특징의 분리도와 내부 클래스의 농축도를 향상시키는가?
• RQ5 다양한 EEG 데이터베이스 간 일반화 능력과 레이블 노이즈에 대한 강건성 측면에서 PR-PL은 최신 기술 수준의 방법들과 비교해 어떤가?

주요 결과

• PR-PL은 SEED 및 SEED-IV 데이터셋에서 모두 네 가지 교차 검증 프로토콜 전반에서 가장 높은 정확도를 기록하여 기존 최신 기술 수준의 방법들을 초월했다.
• 30%의 레이블 노이즈 조건 하에서도 모델은 87.71% ± 5.02%의 정확도를 유지하여 강력한 노이즈에 대한 내성성을 입증했다.
• 혼동 행렬 분석 결과, PR-PL은 부정 정서에 대해 92.10%, 중립 정서에 대해 90.39%, 긍정 정서에 대해 96.50%의 인식률을 기록하여 BiDANN, BiHDM, RGNN를 모두 능가했다.
• T-SNE 시각화 결과, PR-PL은 원천 도메인과 타겟 도메인 모두에서 다양한 정서 카테고리에 대해 더 분리되고 농축된 군집을 학습한 것으로 확인되었다.
• 기준 모델 대비 모델의 상호작용 특징는 더 높은 외부 클래스 분리도와 내부 클래스 농축도를 보였다.
• 제거 실험 결과, 쌍별 학습과 원형 표현 학습 모두 전체 성능 향상에 기여하며, 두 구성 요소를 모두 포함한 전체 모델이 각각의 기능이 제거된 변형보다 뛰어난 성능을 보였다.