[論文レビュー] Multi-task Generative Adversarial Learning on Geometrical Shape Reconstruction from EEG Brain Signals

Xiang Zhang, Xiaocong Chen+4 more|arXiv (Cornell University)|Jan 1, 2019

Cell Image Analysis Techniques参考文献 14被引用数 6

ひとこと要約

本論文は、CNNを用いて潜在表現を抽出し、意味的アライメントを備えたマルチタスクディスクリミネーターを用いて現実性を向上させる、EEG脳信号から幾何学的形状を再構築するためのマルチタスク生成対抗ネットワーク（GAN）を提案する。モデルは最先端の手法を上回り、独自に収集したEEGデータセットにおいて、インceptionスコア2.178およびインセプション精度0.83を達成した。

ABSTRACT

Synthesizing geometrical shapes from human brain activities is an interesting and meaningful but very challenging topic. Recently, the advancements of deep generative models like Generative Adversarial Networks (GANs) have supported the object generation from neurological signals. However, the Electroencephalograph (EEG)-based shape generation still suffer from the low realism problem. In particular, the generated geometrical shapes lack clear edges and fail to contain necessary details. In light of this, we propose a novel multi-task generative adversarial network to convert the individual's EEG signals evoked by geometrical shapes to the original geometry. First, we adopt a Convolutional Neural Network (CNN) to learn highly informative latent representation for the raw EEG signals, which is vital for the subsequent shape reconstruction. Next, we build the discriminator based on multi-task learning to distinguish and classify fake samples simultaneously, where the mutual promotion between different tasks improves the quality of the recovered shapes. Then, we propose a semantic alignment constraint in order to force the synthesized samples to approach the real ones in pixel-level, thus producing more compelling shapes. The proposed approach is evaluated over a local dataset and the results show that our model outperforms the competitive state-of-the-art baselines.

研究の動機と目的

• EEGに基づく幾何学的形状再構築における低現実性（ぼやけた形状で詳細が欠落）を是正すること。
• EEG信号を正確に対応する幾何学的形状にデコードできる深層生成モデルを開発すること。
• 生成された形状と実際の形状の間の意味的アライメントを組み込むことで、形状の忠実度を向上させること。
• 多様な幾何学的刺激を用いた新たに収集したローカルEEGデータセット上でモデルを評価すること。
• 定性的および定量的指標の両面で、従来のGANベースのベースラインを上回ることを示すこと。

提案手法

• 生EEG信号から判別的な潜在表現を学習するために畳み込みニューラルネットワーク（CNN）が用いられる。
• マルチタスクディスクリミネーターは、同時に本物と偽物のサンプルを区別し、形状を正しい幾何学的カテゴリに分類するように設計されている。
• 生成された形状と実際の形状の間のピクセルレベルの差を最小化する意味的アライメント制約が導入され、現実性が向上する。
• 生成器はマルチタスクディスクリミネーターに対して敵対的に訓練され、高精細な幾何学的形状が生成される。
• 形状の一貫性を向上させるために、クラス固有の分類器を介した条件付き監視がフレームワークに統合されている。
• モデルは、幾何学的形状を視認する参加者から収集した独自のEEGデータセット上でエンドツーエンドに訓練されている。

実験結果

リサーチクエスチョン

• RQ1 EEG信号は、特定の幾何学的形状に対応する判別的な神経パターンを誘発できるか？
• RQ2 ディスクリミネーターにおけるマルチタスク学習は、EEGから生成される幾何学的形状の現実性と正確性をどのように向上させるか？
• RQ3 意味的アライメントは、再構築形状のピクセルレベルの忠実度をどの程度向上させるか？
• RQ4 本手法は、EEG信号からの幾何学的形状再構築において、最先端のGANと比較してどのように優れているか？
• RQ5 訓練データに含まれない未観測の幾何学的形状に対しても、モデルは一般化可能か？

主な発見

• 提案手法は、インセプションスコア2.178およびインセプション精度0.83を達成し、すべての競合ベースラインを上回った。
• 定性的な結果から、本手法はGAN、CGAN、ACGANと比較して、はっきりとしたエッジとより現実的な詳細を持つ形状を生成していることが示された。
• 意味的アライメント部は、生成された形状と実際の形状の間のピクセルレベルの乖離を顕著に低減し、視覚的忠実度が向上した。
• マルチタスクディスクリミネーターは、生成品質と分類精度の両方を同時に向上させることで、形状再構築を強化した。
• モデルは、円、三角形、長方形、平行四辺形、星の5種類の幾何学的形状を、真値と高い類似度で再構築できた。
• 本タスクにおいて、RNNベースの手法と比較して、CNNに基づくEEG表現学習が、効率性と表現品質の両面で優れていた。