[論文レビュー] Data Augmentation for Enhancing EEG-based Emotion Recognition with Deep Generative Models
本稿では、変分オートエンコーダーと生成対抗ネットワークを用いて、実際のパワースペクトル密度および微分エントロピー特徴を生成することで、EEGベースの感情認識におけるデータ拡張のための3つの深層生成モデル—cWGAN、sVAE、sWGAN—を提案する。本手法は、高品質な合成サンプルで訓練データを拡張することにより、SEEDデータセットでは最大10.2%、DEAPデータセットでは最大5.4%の分類精度向上を達成し、選択的生成が全拡張を上回る性能を発揮した。
The data scarcity problem in emotion recognition from electroencephalography (EEG) leads to difficulty in building an affective model with high accuracy using machine learning algorithms or deep neural networks. Inspired by emerging deep generative models, we propose three methods for augmenting EEG training data to enhance the performance of emotion recognition models. Our proposed methods are based on two deep generative models, variational autoencoder (VAE) and generative adversarial network (GAN), and two data augmentation strategies. For the full usage strategy, all of the generated data are augmented to the training dataset without judging the quality of the generated data, while for partial usage, only high-quality data are selected and appended to the training dataset. These three methods are called conditional Wasserstein GAN (cWGAN), selective VAE (sVAE), and selective WGAN (sWGAN). To evaluate the effectiveness of these methods, we perform a systematic experimental study on two public EEG datasets for emotion recognition, namely, SEED and DEAP. We first generate realistic-like EEG training data in two forms: power spectral density and differential entropy. Then, we augment the original training datasets with a different number of generated realistic-like EEG data. Finally, we train support vector machines and deep neural networks with shortcut layers to build affective models using the original and augmented training datasets. The experimental results demonstrate that the augmented training datasets produced by our methods enhance the performance of EEG-based emotion recognition models and outperform the existing data augmentation methods such as conditional VAE, Gaussian noise, and rotational data augmentation.
研究の動機と目的
- 限られたラベル付きデータセットが深層学習の性能を制限するEEGベースの感情認識におけるデータ不足の深刻な課題に対処する。
- 既存の訓練データを拡張するための現実的で高品質なEEG特徴を生成する深層生成モデルを開発する。
- 訓練データの多様性と分布カバレッジを向上させることで、感情認識モデルのロバスト性と精度を向上させる。
- 生成されたサンプル数の変動がモデル性能に与える影響を調査し、最適な拡張しきい値を同定する。
- VAEおよびGANベースの生成モデルを用いた、全拡張対比選択的データ拡張戦略の有効性を比較する。
提案手法
- 感情ラベルに条件付けられた生成を保証するため、感情ラベルを条件とするワッサーシュタイン生成対抗ネットワーク（cWGAN）を用いてEEG特徴を生成する。
- 再構成誤差または識別器の信頼度に基づいて、高品質な出力を絞り込むことで、選択的VAE（sVAE）を実装する。
- 品質識別器を備えた選択的WGAN（sWGAN）を用い、訓練拡張用に現実的に見える生成EEG特徴のみを選択する。
- EEG特徴の2種類を生成する：パワースペクトル密度（PSD）および微分エントロピー（DE）、これらはEEG解析における標準的表現である。
- 全生成データ（すべての生成データ）と高品質データのみ（高品質なデータのみ）を用いた部分的戦略の両方を用いて、元の訓練セットに生成サンプルを追加する。
- SVMおよびショートカット接続付き深層ニューラルネットワークを用い、元のデータセットおよび拡張済みデータセット上で感情認識モデルを訓練および評価する。
実験結果
リサーチクエスチョン
- RQ1深層生成モデルは、感情認識におけるデータ不足を緩和するために、現実的で実用的なEEG特徴を効果的に合成できるか？
- RQ2全拡張（すべての生成データ）と比較して、高品質なサンプルのみを用いる選択的データ拡張は、モデル精度の向上にどのように寄与するか？
- RQ3ノイズ混入や低品質なデータによる性能劣化が発生するまでの、最適な生成サンプル数は何か？
- RQ4VAEとGANの両方の生成モデルは、EEGデータ拡張において、精度、安定性、学習時間の観点からどのように性能を発揮するか？
- RQ5合成EEGデータの導入により、複数のデータセットおよび分類器において、感情認識モデルの一般化性能とロバスト性が向上するか？
主な発見
- 提案手法は、ベースラインモデルと比較して、SEEDデータセットでは最大10.2%、DEAPデータセットでは最大5.4%の感情認識精度向上を達成した。
- 選択的WGAN（sWGAN）は、すべての手法の中で最高の分類性能を達成し、sVAEおよびcWGANを上回った。
- 生成されたサンプルが元の訓練セットサイズの10倍を超えると性能が劣化したため、ノイズがモデル精度を低下させる閾値が存在することが示された。
- sVAEは、モード崩壊などの敵対的訓練の不安定性が存在しないため、GANベースの手法に比べてより優れた学習安定性を示した。
- cWGANは、品質フィルタリングを行わずすべての生成データを使用していたため、最も速い収束速度を示したが、低品質なデータの混入により精度が低かった。
- 高品質なサンプルを用いることで、生成データがデータ多様体を拡張し、特に分類境界を明確にするためのより良い意思決定マージンを形成することで、モデルの一般化性能が向上した。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。