[論文レビュー] Benchmarking Domain Generalization on EEG-based Emotion Recognition

Yan Li, Hao Chen+3 more|arXiv (Cornell University)|Apr 18, 2022

EEG and Brain-Computer Interfaces被引用数 7

ひとこと要約

本論文は、ターゲットドメインデータなしで未学習のユーザーに一般化するモデルを学習するために、複数のソース被験者を用いて、EEGを用いた感情認識における最先端のドメイン一般化（DG）手法のベンチマークを実施する。適切にチューニングされたMLPベースラインとRSC DG手法を用いることで、SEEDデータセットで79.41%の精度に到達した。これは、実世界のBCI応用におけるゼロトレーニング感情認識におけるDGの可能性を裏付けるものである。

ABSTRACT

Electroencephalography (EEG) based emotion recognition has demonstrated tremendous improvement in recent years. Specifically, numerous domain adaptation (DA) algorithms have been exploited in the past five years to enhance the generalization of emotion recognition models across subjects. The DA methods assume that calibration data (although unlabeled) exists in the target domain (new user). However, this assumption conflicts with the application scenario that the model should be deployed without the time-consuming calibration experiments. We argue that domain generalization (DG) is more reasonable than DA in these applications. DG learns how to generalize to unseen target domains by leveraging knowledge from multiple source domains, which provides a new possibility to train general models. In this paper, we for the first time benchmark state-of-the-art DG algorithms on EEG-based emotion recognition. Since convolutional neural network (CNN), deep brief network (DBN) and multilayer perceptron (MLP) have been proved to be effective emotion recognition models, we use these three models as solid baselines. Experimental results show that DG achieves an accuracy of up to 79.41\% on the SEED dataset for recognizing three emotions, indicting the potential of DG in zero-training emotion recognition when multiple sources are available.

研究の動機と目的

• トレーニング時にターゲットドメインデータが利用できない状況下で、ドメイン一般化（DG）がEEGを用いた感情認識に実用的かつ効果的に適用可能かどうかを評価すること。
• ラベルなしのターゲットデータを必要とするドメイン適応（DA）手法の限界を克服し、実世界の展開環境において現実的でない状況を想定すること。
• SEED EEGデータセットを用いて、強力なディープラーニングベースライン（CNN、DBN、MLP）を用いた最先端のDGアルゴリズムのベンチマークを確立すること。
• 感情認識において未学習の被験者にゼロショットで一般化する際、最も高い性能を示すDG手法とベースラインの組み合わせを同定すること。

提案手法

• フレームワークは、各被験者のEEGデータを別個のドメインとして扱い、複数のソースドメインを用いてトレーニングすることで、ドメイン不変特徴を学習する。
• ターゲットデータを必要とせずに被験者間のドメインシフトを低減するため、6つの代表的なDG手法（ERM、DANN、RSC、Mixup、MMD、CORAL）を評価する。
• 3つのディープラーニングベースラインを用いる：ResNetバージョン（18、34、50）、2〜4層の全結合層を有するMLP、2層のRBMを有するDBN。
• 各DG手法について、1人の被験者を除いた全被験者でモデルをトレーニングし、その被験者をターゲットドメインとして保持し、全15通りのターゲット被験者に対して平均化した性能を評価する。
• 学習率、バッチサイズ（8、16、32）、トレーニングエポック数といったハイパーパrameterをチューニングし、性能最適化を図る。
• 性能評価には、15回のクロスサブジェクト評価における精度の平均値と標準偏差を用い、妥当性を確保し、ばらつきを低減する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン一般化手法は、ターゲットドメインデータを一切必要としない状況下でも、EEGデータにおけるゼロトレーニング感情認識性能を効果的に向上させることができるか？
• RQ2 SEEDデータセットにおける3感情分類において、どのDG手法とディープラーニングベースラインの組み合わせが最高の精度を達成するか？
• RQ3 バッチサイズやトレーニングエポック数といったハイパーパrameterは、EEGを用いた感情認識におけるDG手法の性能にどのように影響するか？
• RQ4 従来のディープラーニングモデル（例：ResNet、MLP、DBN）は、DG技術と組み合わせた場合、クロスサブジェクトEEG感情認識においてどのように性能を発揮するか？

主な発見

• MLP-4ベースラインにRSCドメイン一般化手法を組み合わせた場合、SEEDデータセットで最高の精度79.41%を達成し、他のすべての組み合わせを上回った。
• DG手法の中で、Mixupは全ベースラインにおける平均精度が71.17%を記録し、強力な一般化能力を示した。
• MLPモデルは一貫してResNetバージョンを上回った。これは、CNNがEEGデータの非画像的空間構造には最適でない可能性を示唆している。
• DBNモデルはResNetより優れた性能を示したが、MLPよりは劣った。これは、深層信念ネットワークが有効ではあるが、このタスクでは最先端ではないことを示している。
• ハイパーパrameterチューニングは性能に顕著な影響を及ぼし、バッチサイズとエポック数はDG手法の安定性と精度に顕著な効果を示した。
• ベンチマークにより、適切なベースラインと組み合わせたDGは、ゼロトレーニング感情認識で高い性能を達成できることを示し、実世界の感情的BCI応用に適していることが明らかになった。