[论文解读] Distilling EEG Representations via Capsules for Affective Computing

Guangyi Zhang, Ali Etemad|arXiv (Cornell University)|Apr 30, 2021

EEG and Brain-Computer Interfaces参考文献 29被引用 7

一句话总结

本文提出了一种基于胶囊网络的知识蒸馏框架，用于压缩大型复杂脑电信号（EEG）模型，以实现实时情感计算。通过将来自预训练教师网络的特权知识——特别是胶囊间的相似性——迁移至轻量级学生网络，该方法在SEED-VIG数据集上实现了最先进性能，并在训练数据有限的情况下显著提升了学生网络的鲁棒性。

ABSTRACT

Affective computing with Electroencephalogram (EEG) is a challenging task that requires cumbersome models to effectively learn the information contained in large-scale EEG signals, causing difficulties for real-time smart-device deployment. In this paper, we propose a novel knowledge distillation pipeline to distill EEG representations via capsule-based architectures for both classification and regression tasks. Our goal is to distill information from a heavy model to a lightweight model for subject-specific tasks. To this end, we first pre-train a large model (teacher network) on large number of training samples. Then, we employ the teacher network to learn the discriminative features embedded in capsules by adopting a lightweight model (student network) to mimic the teacher using the privileged knowledge. Such privileged information learned by the teacher contain similarities among capsules and are only available during the training stage of the student network. We evaluate the proposed architecture on two large-scale public EEG datasets, showing that our framework consistently enables student networks with different compression ratios to effectively learn from the teacher, even when provided with limited training samples. Lastly, our method achieves state-of-the-art results on one of the two datasets.

研究动机与目标

• 解决在资源受限的智能设备上部署大型计算密集型EEG模型的挑战。
• 提升轻量级学生网络在个性化情感计算任务中的性能与鲁棒性。
• 探索知识蒸馏在EEG表征学习中的应用，该领域此前尚未应用此类技术。
• 通过利用教师网络提供的特权信息，实现在有限训练样本下的有效学习。

提出的方法

• 教师网络在大规模跨被试EEG数据上进行预训练，并在被试内数据上微调，以学习个性化表征。
• 学生网络是一种轻量级胶囊基架构，旨在通过知识蒸馏模仿教师网络的输出。
• 通过专门设计的损失函数，将教师网络中胶囊间的相似性知识迁移至学生网络，以促进胶囊激活的一致性。
• 该框架支持分类与回归任务，可应用于多样化的情感计算基准。
• 学生网络在训练过程中利用教师网络提供的特权信息，该信息仅在训练阶段可用，推理阶段不可用。

实验结果

研究问题

• RQ1 基于胶囊的知识蒸馏能否有效压缩大型EEG模型，同时在情感计算任务中保持性能？
• RQ2 在训练数据有限的情况下，知识蒸馏如何提升学生网络的性能？
• RQ3 所提出的框架能否在公开的EEG情感计算数据集上实现最先进结果？
• RQ4 胶囊间相似性的知识蒸馏是否能提升学生模型的泛化能力与鲁棒性？

主要发现

• 仅包含教师网络0.03%参数量的学生网络即实现了具有竞争力的性能，证明了高效的模型压缩能力。
• 在SEED-VIG数据集上，学生网络实现了新的最先进结果，RMSE为0.0258 ± 0.0095，PCC为0.9930 ± 0.0047。
• 仅使用30%的训练样本时，该蒸馏方法在SEED数据集上性能提升了3%，凸显其数据效率。
• 随着学生模型压缩程度的提高，蒸馏带来的性能增益也相应增加，表明在高度压缩设置下知识迁移更加强劲。
• 与从零开始训练相比，该方法始终表现出一致的性能提升，尤其在训练样本少于40%时优势更为明显。