[論文レビュー] PR-PL: A Novel Transfer Learning Framework with Prototypical Representation based Pairwise Learning for EEG-Based Emotion Recognition

Rushuang Zhou, Zhiguo Zhang+8 more|arXiv (Cornell University)|Feb 14, 2022

EEG and Brain-Computer Interfaces被引用数 8

ひとこと要約

本稿では、エモーション分類のノイズに強く、個人差に対しても一般化性能を向上させるために、プロトタイプ表現とペairワイズ学習を用いた、EEGベースの感情認識のための新規な転移学習フレームワークPR-PLを提案する。ドメイン固有の特徴を敵対的ドメイン適応によって整列させ、適応的擬似ラベル化によってモデルの安定性を向上させることで、SEEDおよびSEED-IVデータセットにおける4つのクロスバリデーションプロトコルで最先端の性能を達成した。

ABSTRACT

Affective brain-computer interfaces based on electroencephalography (EEG) is an important branch in the field of affective computing. However, individual differences and noisy labels seriously limit the effectiveness and generalizability of EEG-based emotion recognition models. In this paper, we propose a novel transfer learning framework with Prototypical Representation based Pairwise Learning (PR-PL) to learn discriminative and generalized prototypical representations for emotion revealing across individuals and formulate emotion recognition as pairwise learning for alleviating the reliance on precise label information. Extensive experiments are conducted on two benchmark databases under four cross-validation evaluation protocols (cross-subject cross-session, cross-subject within-session, within-subject cross-session, and within-subject within-session). The experimental results demonstrate the superiority of the proposed PR-PL against the state-of-the-arts under all four evaluation protocols, which shows the effectiveness and generalizability of PR-PL in dealing with the ambiguity of EEG responses in affective studies. The source code is available at https://github.com/KAZABANA/PR-PL.

研究の動機と目的

• 被験者間の個人差がEEGベースの感情認識のモデル一般化を妨げるという問題に取り組む。
• 正確なラベルに依存しないように、感情のラベルがノイズ混じりまたは不正確であっても耐性を持つ学習フレームワークを開発する。
• 感情カテゴリ内に集中し、カテゴリ間で分離するように、プロトタイプ表現を学習することで特徴の判別能を向上させる。
• 被験者間およびセッション間のEEG感情認識の場面において、モデルの安定性と性能を向上させる。
• 感情認識をペアワイズ学習として定式化することで、サンプル間の相対的関係をよりよく捉え、絶対的ラベル精度への依存を低減する。

提案手法

• EEGデータに感情関連の意味的構造をエンコードするために、プロトタイプ学習に基づく敵対的判別的ドメイン適応手法を用いる。
• ノイズの多いラベル状況下でのモデルの頑健性を向上させるために、適応的擬似ラベル化を用いたペアワイズ学習を導入する。
• ソースドメインおよびターゲットドメインからの特徴表現を共有空間に整列させつつ、クラス内Compactnessとクラス間分離性を維持する。
• T-SNE可視化を用いて、ドメイン間での学習済み表現のクラスタリング品質を定性的に評価する。
• ドメイン不変性とラベルノイズ耐性の両方を同時に最適化できる統合的なトレーニングパイプラインに、ドメイン適応とペアワイズ学習を統合する。
• 対照的損失を用いたプロトタイプ表現学習と、相対的サンプル比較のためのペアワイズランク損失を組み合わせ、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 プロトタイプ表現を用いた転移学習フレームワークは、個人差を考慮した被験者間EEGベースの感情認識性能を向上させることができるか？
• RQ2 適応的擬似ラベル化を用いたペアワイズ学習は、EEG感情認識においてノイズの多いラベル状況下での性能低下をどれほど効果的に緩和できるか？
• RQ3 提案されたPR-PLフレームワークは、多様なクロスバリデーションプロトコル（例：被験者間 vs. 被験者内、セッション間 vs. セッション内）において、どれほど高い性能を維持できるか？
• RQ4 プロトタイプ表現学習の統合は、EEGベースの感情認識において特徴の分離性とクラス内Compactnessを向上させるか？
• RQ5 ラベルノイズに対する頑健性および異なるEEGデータベース間での一般化性能の観点から、PR-PLは最先端の手法と比較してどのように優れているか？

主な発見

• PR-PLは、SEEDおよびSEED-IVデータセットの全4つのクロスバリデーションプロトコルにおいて、既存の最先端手法を上回る最高の正解率を達成した。
• 30%のラベルノイズ下でも、モデルは87.71% ± 5.02%の正解率を維持し、ノイズに強い性能を示した。
• 混同行列の分析から、PR-PLはネガティブ感情で92.10%、ニュートラルで90.39%、ポジティブで96.50%の認識率を達成し、BiDANN、BiHDM、RGNNを上回った。
• T-SNE可視化により、PR-PLがソースドメインおよびターゲットドメインの両方で、異なる感情カテゴリに対してより分離性が高く、凝縮されたクラスタを学習していることが確認された。
• ベースラインと比較して、PR-PLの相互作用特徴は顕著に向上したクラス間分離性とクラス内集中性を示した。
• アブレーションスタディにより、ペアワイズ学習とプロトタイプ表現学習の両方が全体の性能向上に寄与していることが確認され、両方のコンポonentを備えた完全なモデルが、いずれかのコンポーネントを欠いたバージョンよりも優れた性能を示した。