[논문 리뷰] Multi-task Generative Adversarial Learning on Geometrical Shape Reconstruction from EEG Brain Signals

Xiang Zhang, Xiaocong Chen외 4명|arXiv (Cornell University)|2019. 01. 01.

Cell Image Analysis Techniques참고 문헌 14인용 수 6

한 줄 요약

이 논문은 기하 도형을 뇌전도(EEG) 신호로부터 복원하기 위해 다중 작업 생성 적대 신경망(GAN)을 제안한다. 컨볼루션 신경망(CNN)을 사용해 잠재 표현을 추출하고, 의미적 정렬을 통한 다중 작업 판별기로 현실감을 향상시킨다. 제안된 모델은 최신 기술보다 뛰어난 성능을 보이며, 자체 수집한 EEG 데이터셋에서 인ception 스코어 2.178과 인ception 정확도 0.83을 달 đạt하였다.

ABSTRACT

Synthesizing geometrical shapes from human brain activities is an interesting and meaningful but very challenging topic. Recently, the advancements of deep generative models like Generative Adversarial Networks (GANs) have supported the object generation from neurological signals. However, the Electroencephalograph (EEG)-based shape generation still suffer from the low realism problem. In particular, the generated geometrical shapes lack clear edges and fail to contain necessary details. In light of this, we propose a novel multi-task generative adversarial network to convert the individual's EEG signals evoked by geometrical shapes to the original geometry. First, we adopt a Convolutional Neural Network (CNN) to learn highly informative latent representation for the raw EEG signals, which is vital for the subsequent shape reconstruction. Next, we build the discriminator based on multi-task learning to distinguish and classify fake samples simultaneously, where the mutual promotion between different tasks improves the quality of the recovered shapes. Then, we propose a semantic alignment constraint in order to force the synthesized samples to approach the real ones in pixel-level, thus producing more compelling shapes. The proposed approach is evaluated over a local dataset and the results show that our model outperforms the competitive state-of-the-art baselines.

연구 동기 및 목표

• EEG 기반 기하 도형 복원에서 낮은 현실감 문제를 해결하기 위해, 생성된 도형이 흐릿하고 세부 사항이 부족한 문제를 해결한다.
• EEG 신호를 정확히 해당 기하 도형으로 디코딩할 수 있는 깊이 있는 생성 모델을 개발한다.
• 생성된 도형과 실제 도형 간의 의미적 정렬을 통합하여 도형의 정밀도를 향상시킨다.
• 다양한 기하 자극을 포함한 새로 수집한 지역 EEG 데이터셋을 기반으로 모델을 평가한다.
• 정성적 및 정량적 지표에서 기존의 GAN 기반 기준 모델에 비해 제안된 방법의 우수성을 입증한다.

제안 방법

• 원시 EEG 신호에서 분별적인 잠재 표현을 학습하기 위해 컨볼루션 신경망(CNN)을 사용한다.
• 다중 작업 판별기를 설계하여 실재 대 위조 샘플을 동시에 구분하고, 도형을 정확한 기하 도형 유형으로 분류한다.
• 생성된 도형과 실제 도형 간의 픽셀 수준 차이를 최소화하기 위해 의미적 정렬 제약 조건을 도입하여 현실감을 향상시킨다.
• 다중 작업 판별기와의 적대적 학습을 통해 생성기를 훈련시켜 고해상도 기하 도형을 생성한다.
• 형태 일致성을 향상시키기 위해 클래스별 분류기의 조건부 지도를 통합한다.
• 참가자가 기하 도형을 시각화하는 동안 수집한 자체 EEG 데이터셋을 기반으로 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 EEG 신호는 특정 기하 도형에 대응하는 분별적인 신경 패턴을 유도할 수 있는가?
• RQ2 판별기에서의 다중 작업 학습은 EEG 기반 기하 도형 생성의 현실감과 정확도를 어떻게 향상시키는가?
• RQ3 의미적 정렬은 재구성된 도형의 픽셀 수준 정밀도를 얼마나 향상시키는가?
• RQ4 제안된 모델은 EEG 기반 기하 도형 복원에서 최신 기술 기반 GAN과 비교해 어떻게 성능을 냈는가?
• RQ5 학습 데이터에 포함되지 않은 새로운 기하 도형에 대해 모델은 일반화 가능한가?

주요 결과

• 제안된 모델은 인ception 스코어 2.178과 인ception 정확도 0.83을 달성하여 모든 경쟁 기준 모델을 초월하였다.
• 정성적 결과에서 제안된 방법은 GAN, CGAN, ACGAN에 비해 더 선명한 윤곽과 더 현실적인 세부 사항을 가진 도형을 생성하였다.
• 의미적 정렬 구성 요소는 생성된 도형과 실제 도형 간의 픽셀 수준 차이를 크게 줄여 시각적 정밀도를 향상시켰다.
• 다중 작업 판별기는 생성 품질 향상과 분류 정확도 향상의 공동 개선을 통해 도형 복원을 향상시켰다.
• 모델은 원형, 삼각형, 사각형, 마름모, 별 총 다섯 가지 기하 도형을 지상 진실과 높은 유사도로 성공적으로 재구성하였다.
• 이 작업에서 RNN 기반 방법에 비해 CNN 기반 EEG 표현 학습이 효율성과 표현 품질 측면에서 뛰어났다.