[論文レビュー] Distilling EEG Representations via Capsules for Affective Computing

Guangyi Zhang, Ali Etemad|arXiv (Cornell University)|Apr 30, 2021

EEG and Brain-Computer Interfaces参考文献 29被引用数 7

ひとこと要約

本論文は、リアルタイムの感情認識計算のための大型で複雑なEEGモデルを圧縮するためのキャプセルネットワークを用いた知識蒸留フレームワークを提案する。事前に学習された教師ネットワークから、特にキャプセル間の類似性という特権情報（privileged knowledge）を軽量な学生ネットワークに移譲することで、SEED-VIGデータセットにおいて最先端の性能を達成し、限られた学習データでも学生ネットワークのロバスト性を顕著に向上させた。

ABSTRACT

Affective computing with Electroencephalogram (EEG) is a challenging task that requires cumbersome models to effectively learn the information contained in large-scale EEG signals, causing difficulties for real-time smart-device deployment. In this paper, we propose a novel knowledge distillation pipeline to distill EEG representations via capsule-based architectures for both classification and regression tasks. Our goal is to distill information from a heavy model to a lightweight model for subject-specific tasks. To this end, we first pre-train a large model (teacher network) on large number of training samples. Then, we employ the teacher network to learn the discriminative features embedded in capsules by adopting a lightweight model (student network) to mimic the teacher using the privileged knowledge. Such privileged information learned by the teacher contain similarities among capsules and are only available during the training stage of the student network. We evaluate the proposed architecture on two large-scale public EEG datasets, showing that our framework consistently enables student networks with different compression ratios to effectively learn from the teacher, even when provided with limited training samples. Lastly, our method achieves state-of-the-art results on one of the two datasets.

研究の動機と目的

• リソース制約のあるスマートデバイスに大規模で計算コストの高いEEGモデルを実装する課題に対処すること。
• 軽量な学生ネットワークの性能とロバスト性を、個別被験者に特化した感情認識タスクにおいて向上させること。
• 知識蒸留がEEG表現学習の分野に応用されていない分野であることを踏まえ、その応用を検討すること。
• 教師ネットワークからの特権情報を利用することで、限られた学習サンプルから効果的に学習を可能にすること。

提案手法

• 教師ネットワークは大規模な被験者間EEGデータで事前学習され、被験者内データで微調整されて、被験者に特化した表現を学習する。
• 学生ネットワークは、知識蒸留を用いて教師の出力を模倣することを目的とした軽量なキャプセルベースのアーキテクチャである。
• 知識蒸留は、教師から学生へのキャプセル間類似性の移譲によって行われ、キャプセル活動の整合性を促進する専用の損失関数が使用される。
• このフレームワークは分類および回帰の両方のタスクをサポートしており、多様な感情認識ベンチマークへの応用が可能である。
• 学生ネットワークは、推論時には利用できないが、訓練時にのみ利用可能な教師からの特権情報を利用して訓練される。

実験結果

リサーチクエスチョン

• RQ1 キャプセルベースの知識蒸留は、感情認識のための大型EEGモデルを効果的に圧縮しつつ、性能を維持できるか？
• RQ2 学習データが限られた状況で、知識蒸留が学生ネットワークの性能をどのように向上させるか？
• RQ3 提案されたフレームワークは、公に提供されているEEG感情認識データセットで最先端の結果を達成できるか？
• RQ4 キャプセル間類似性の蒸留は、学生モデルの一般化性能とロバスト性を向上させるか？

主な発見

• 教師のパラメータの0.03％しか持たない学生ネットワークが、競争力のある性能を達成した。これは、効果的なモデル圧縮を示している。
• SEED-VIGデータセットでは、RMSE 0.0258 ± 0.0095 および PCC 0.9930 ± 0.0047 を達成し、新たな最先端の結果を記録した。
• SEEDデータセットでは、学習サンプルの30％のみで学習した場合でも、性能が3％向上した。これは、本手法のデータ効率性が顕著に高いことを示している。
• 学生モデルがより圧縮されるほど、知識蒸留による性能向上が顕著に増大した。これは、高度に圧縮された環境下でも、知識伝達が強力に機能していることを示している。
• 特に学習サンプルが40％未満の状況では、学習から始めることよりも一貫した性能向上が得られた。