[論文レビュー] Multimodal deep learning approach for joint EEG-EMG data compression and classification

Ahmed Ben Said, Amr Mohamed+3 more|arXiv (Cornell University)|Mar 27, 2017

EEG and Brain-Computer Interfaces参考文献 14被引用数 8

ひとこと要約

本論文では、脳波（EEG）および筋電図（EMG）信号の間の相互および内的相関を活用することで、同時に圧縮と分類を実行するマルチモーダル深層オートエンコーダーを提案する。このモデルは、優れた圧縮効率と感情ベースのラベル付けにおける78.1％の分類精度を達成し、単一モダリティ手法や従来の圧縮技術を上回る性能を示した。

ABSTRACT

In this paper, we present a joint compression and classification approach of EEG and EMG signals using a deep learning approach. Specifically, we build our system based on the deep autoencoder architecture which is designed not only to extract discriminant features in the multimodal data representation but also to reconstruct the data from the latent representation using encoder-decoder layers. Since autoencoder can be seen as a compression approach, we extend it to handle multimodal data at the encoder layer, reconstructed and retrieved at the decoder layer. We show through experimental results, that exploiting both multimodal data intercorellation and intracorellation 1) Significantly reduces signal distortion particularly for high compression levels 2) Achieves better accuracy in classifying EEG and EMG signals recorded and labeled according to the sentiments of the volunteer.

研究の動機と目的

• mHealthシステムにおける効率的なデータ送信の課題に応えるために、マルチモーダル生理信号を同時に圧縮および分類する手法を提示すること。
• EEGとEMG信号間のモダリティ間相関を活用し、圧縮効率を向上させるとともに、信号歪みを低減すること。
• EEGとEMGモダリティ間の共有表現を学習することで、感情状態（優位性および覚醒度）の分類精度を向上させること。
• 深層オートエンコーダーをマルチモーダル医療データにおける圧縮と特徴抽出の統合フレームワークとして用いる可能性を実証すること。
• 将来的なmHealthアプリケーションにおいて、追加のモダリティを容易に統合できるスケーラブルで柔軟なアーキテクチャを提供すること。

提案手法

• 各モダリティの内部相関をモデル化するため、EEGおよびEMGに別々のエンコーダーを備えたスタックドオートエンコーダー構造を設計する。
• 個々のモダリティエンコーダーの上に、モダリティ間相関を捉えるための共同符号化層を導入する。
• 共通のデコーダーを用いて、共同潜在表現からEEGおよびEMG信号を再構築する。
• 再構築誤差（MSE）を最小化するとともに、分類に有用な特徴を保持するように、ネットワーク全体をエンドツーエンドで学習する。
• 二値分類のためのソフトマックス分類器を、共同潜在表現の上に設置し、優位性および覚醒度の分類を実行する。
• バックプロパゲーションと確率的勾配降下法を用いてモデルを最適化し、学習用およびテスト用にデータを分割する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル深層オートエンコーダー構造を用いることで、EEGおよびEMG信号の共同圧縮と分類を効果的に実現できるか？
• RQ2 モダリティ内およびモダリティ間相関を活用することで、信号再構築品質および圧縮効率にどのような影響を与えるか？
• RQ3 マルチモーダルアプローチは、単一モダリティの深層学習モデルと比較して、感情状態の分類精度を向上させるか？
• RQ4 トレーニングデータ量の増加が、圧縮および分類パイプラインの性能に与える影響は何か？
• RQ5 提案されたアーキテクチャは、将来的なmHealthシステムにおいて、追加の生理的モダリティを容易に統合できるか？

主な発見

• 提案されたマルチモーダルオートエンコーダーは、優位性ラベルに対して78.1％の分類精度を達成し、単一モダリティのSAEおよびDBMベースラインを顕著に上回った。
• 覚醒度分類タスクにおいて、マルチモーダルアプローチは65.9％の精度を達成し、単一モダリティモデルよりも優れた性能を示した。
• 高い圧縮比（例：90％）において、EEGの歪みは0.92％、EMGの歪みは0.78％にとどまり、信号劣化が顕著に低いことが示された。
• トレーニングデータ量の増加に伴い再構築歪みが減少し、データ量とモデル性能の正の相関関係が確認された。
• 特に高い圧縮レベルにおいて、DWT や圧縮センシングといった従来の圧縮手法よりも、再構築品質が優れていた。
• モダリティ内およびモダリティ間相関の共同モデリングにより、特に高い圧縮条件下で信号歪みが顕著に低減された。