[論文レビュー] A Lightweight Domain Adversarial Neural Network Based on Knowledge Distillation for EEG-based Cross-subject Emotion Recognition

Zhe Wang, Yongxiong Wang+3 more|arXiv (Cornell University)|May 12, 2023

EEG and Brain-Computer Interfaces被引用数 4

ひとこと要約

本稿では、知識蒸留を用いて強化された軽量なドメイン adversarial ニューラルネットワークを、EEGを用いた被験者間感情認識に提案する。トランスフォーマーに基づく教師モデルが、Bi-LSTMの学生モデルを指導し、ドメイン不変特徴を学習することで、被験者独立評価においてDEAPデータセットで最先端の結果を達成し、覚醒度と価値感情分類の両面で優れた性能を発揮する。

ABSTRACT

Individual differences of Electroencephalogram (EEG) could cause the domain shift which would significantly degrade the performance of cross-subject strategy. The domain adversarial neural networks (DANN), where the classification loss and domain loss jointly update the parameters of feature extractor, are adopted to deal with the domain shift. However, limited EEG data quantity and strong individual difference are challenges for the DANN with cumbersome feature extractor. In this work, we propose knowledge distillation (KD) based lightweight DANN to enhance cross-subject EEG-based emotion recognition. Specifically, the teacher model with strong context learning ability is utilized to learn complex temporal dynamics and spatial correlations of EEG, and robust lightweight student model is guided by the teacher model to learn more difficult domain-invariant features. In the feature-based KD framework, a transformer-based hierarchical temporalspatial learning model is served as the teacher model. The student model, which is composed of Bi-LSTM units, is a lightweight version of the teacher model. Hence, the student model could be supervised to mimic the robust feature representations of teacher model by leveraging complementary latent temporal features and spatial features. In the DANN-based cross-subject emotion recognition, we combine the obtained student model and a lightweight temporal-spatial feature interaction module as the feature extractor. And the feature aggregation is fed to the emotion classifier and domain classifier for domain-invariant feature learning. To verify the effectiveness of the proposed method, we conduct the subject-independent experiments on the public dataset DEAP with arousal and valence classification. The outstanding performance and t-SNE visualization of latent features verify the advantage and effectiveness of the proposed method.

研究の動機と目的

• 個々の被験者差や限られたデータによるEEGベースの感情認識におけるドメインシフトを解消する。
• 低データ環境下におけるドメイン adversarial ネットワークにおける重い特徴抽出器の限界を克服する。
• 知識蒸留を用いて、軽量かつ頑健な被験者間EEG感情認識モデルを開発する。
• 強力な教師モデルから複雑な時空間表現を転移することで、効果的なドメイン不変特徴の学習を実現する。
• 時間的・空間的ダイナミクスに学習した効率的で効果的な学生モデルを用いて、被験者間の一般化を向上させる。

提案手法

• 複雑なEEGダイナミクスと空間相関を捉えるために、階層的時空間モデルを教師としてトランスフォーマーに基づいて設計する。
• 教師の潜在表現を模倣するために、知識蒸留を用いて軽量なBi-LSTMベースの学生モデルを設計する。
• 学生モデルが教師の時間的および空間的特徴から学習する、特徴ベースの蒸留フレームワークを実装する。
• 最終的な特徴抽出器として、蒸留された学生モデルと軽量な時空間的特徴相互作用モジュールを統合する。
• ドメイン adversarial 学習を用いて、分類損失とドメインの混同損失を同時に最適化することで、エンドツーエンドで学習を実行する。
• 敵対的訓練を用いて、被験者間の特徴分布を一致させ、ドメイン不変表現学習を促進する。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は、重い教師モデルから複雑な時空間的EEG表現を軽量な学生モデルに効果的に転送できるか？
• RQ2 限られたEEGデータ下で、蒸留された学生モデルは標準的なDANNよりも優れた被験者間一般化を達成できるか？
• RQ3 提案手法は、EEGベースの感情認識において、被験者間でドメイン不変特徴を効果的に学習できるか？
• RQ4 蒸留によって訓練された軽量な学生モデルは、被験者独立評価において大規模なモデルを上回る性能を発揮できるか？
• RQ5 時空間的特徴相互作用モジュールは、表現品質と分類精度にどのような影響を及えるか？

主な発見

• 提案手法は、被験者独立設定下でDEAPデータセットにおける覚醒度および価値感情分類の両面で最先端の性能を達成した。
• t-SNE可視化により、学生モデルが学習した潜在特徴が、被験者間でよりドメイン不変であり、より明確に分離されていることが確認された。
• 知識蒸留フレームワークにより、軽量な学生モデルが教師から複雑な時間的ダイナミクスと空間相関を効果的に学習できた。
• 蒸留とドメイン adversarial 学習の組み合わせにより、限られた学習データ下でも被験者間の一般化性能が顕著に向上した。
• 学生モデルはパrameter数と推論コストを削減しながらも高い性能を達成しており、リアルタイム応用に適している。
• 定量的評価では、DEAPデータセットにおいてベースラインDANNおよび他の最先端手法を上回る精度とF1スコアが得られた。