[論文レビュー] EEG2Mel: Reconstructing Sound from Brain Responses to Music

Adolfo G. Ramirez-Aristizabal, Chris Kello|arXiv (Cornell University)|Jul 28, 2022

EEG and Brain-Computer Interfaces被引用数 4

ひとこと要約

本論文では、時間的に同期された1秒間のEEG信号とスペクトログラムのペアを用いて、聴覚的に認識可能な音楽をEEG信号から再構成するための深層学習フレームワーク、EEG2Melを提案する。EEGのパワースペクトルとメルスペクトログラムを2次元画像として扱い、CNN回帰器が2択一致テストにおいて85%の聴取者識別正確度を達成した。これは、広範な前処理を要せず、脳活動からの高精細な聴覚再構成が可能であることを示している。

ABSTRACT

Information retrieval from brain responses to auditory and visual stimuli has shown success through classification of song names and image classes presented to participants while recording EEG signals. Information retrieval in the form of reconstructing auditory stimuli has also shown some success, but here we improve on previous methods by reconstructing music stimuli well enough to be perceived and identified independently. Furthermore, deep learning models were trained on time-aligned music stimuli spectrum for each corresponding one-second window of EEG recording, which greatly reduces feature extraction steps needed when compared to prior studies. The NMED-Tempo and NMED-Hindi datasets of participants passively listening to full length songs were used to train and validate Convolutional Neural Network (CNN) regressors. The efficacy of raw voltage versus power spectrum inputs and linear versus mel spectrogram outputs were tested, and all inputs and outputs were converted into 2D images. The quality of reconstructed spectrograms was assessed by training classifiers which showed 81% accuracy for mel-spectrograms and 72% for linear spectrograms (10% chance accuracy). Lastly, reconstructions of auditory music stimuli were discriminated by listeners at an 85% success rate (50% chance) in a two-alternative match-to-sample task.

研究の動機と目的

• 被験者が音楽を聴いている間の受動的EEG反応から、自然的で全長の音楽刺激を再構成する手法を開発すること。
• 繰り返し刺激平均や短時間のブーストに依存せずに、識別可能な音楽再構成を可能にするために、先行研究を改善すること。
• EEGパワースペクトルを直接深層学習モデルの入力として使用することで、重い特徴抽出を不要にする。
• 人間参加者による行動的聴取タスクを通じて、再構成音声の知覚的品質を検証すること。
• コンピュータビジョン技術を時系列神経データおよび音声データに応用し、異分野間信号再構成を実現する可能性を示すこと。

提案手法

• 63チャンネルのEEG信号が、それぞれ1秒間のウィンドウごとに2次元パワースペクトル画像に変換され、対応する音楽スペクトログラムと同期された。
• NMED-TempoおよびNMED-Hindiデータセットを用いて、EEGパワースペクトル画像をメルスペクトログラム画像にマッピングするための深層CNN回帰器を学習した。
• 複数の2次元畳み込み層、バッチ正則化、マックスプーリング、全結合層を含むモデルアーキテクチャが採用され、その後、スペクトログラムの再構成を目的としたリシェイプ処理が実施された。
• 正規化解除後に、グリフィン＝リム法を用いてスペクトログラムから波形に変換した。この際、音楽固有の参照デシベル値を用いて正規化解除することで、知覚的アーチファクトを低減した。
• 入力データは最小-最大スケーリングで正規化され、出力スペクトログラムは音楽固有の参照デシベル値を用いて正規化解除され、音質の向上が図られた。
• 再構成品質は、16名の参加者を対象とした2択強制選択聴取タスクを通じて評価され、オリジナル音楽との知覚的類似性が測定された。

実験結果

リサーチクエスチョン

• RQ1 繰り返し刺激平均や短時間のブーストに依存せずに、全長で知覚的に識別可能な音楽刺激をEEG信号から再構成できるか？
• RQ2 EEGパワースペクトルを学習対象とした深層学習モデルは、どれほどメルスペクトログラムを再構成できるか。その再構成精度は、聴取可能で識別可能な音楽を生成するのに十分か？
• RQ3 EEGおよびスペクトログラムデータを2次元画像として表現することで、従来の時系列モデリングと比較して、性能向上およびトレーニングの簡素化が達成できるか？
• RQ4 入力（原始的電圧 vs. パワースペクトル）および出力（線形スペクトログラム vs. メルスペクトログラム）の選択が、再構成品質にどのように影響するか？
• RQ5 聴取者らは、知覚的識別タスクにおいて、再構成音声をオリジナルの刺激と一致すると信頼性高く識別できるか？

主な発見

• 下流分類器を用いた再構成メルスペクトログラムの分類正確度は81%に達し、10%の確率的ベースラインを著しく上回った。
• 線形スペクトログラムの再構成正確度は72%に達し、依然として確率的ベースラインを上回っており、部分的ではあるが信号回復が確認された。
• 2択一致テストにおいて、参加者らは85%の試行でオリジナル音楽を正しく識別した。これは50%の確率的ベースラインを著しく上回る結果であった。
• メルスペクトログラム出力を用いたことで、線形スペクトログラムと比較して知覚的品質が向上した。これは、聴覚再構成においてメルスケールの選択が適切であることを支持する。
• 正規化解除時に音楽固有の参照デシベル値を用いることで、再構成品質が向上し、知覚的アーチファクトが低減した。
• 本アプローチは、全音楽長にわたり時間的ダイナミクスと周波数コンテンツを効果的に保持し、整合的で識別可能な音声出力を実現した。