[논문 리뷰] Brain2Object: Printing Your Mind from Brain Signals with Spatial Correlation Embedding

Xiang Zhang, Lina Yao외 4명|arXiv (Cornell University)|2018. 10. 04.

EEG and Brain-Computer Interfaces참고 문헌 39인용 수 6

한 줄 요약

Brain2Object는 다중 클래스 공통 공간 패턴(CSP)과 그래프 통합 콘볼루션 신경망을 융합한 통합 프레임워크를 사용하여 시각적으로 유도된 뇌전도(EEG) 신호를 디코딩하는 엔드 투 엔드 뇌-컴퓨터 인터페이스 시스템을 제안한다. 이 시스템은 기준 데이터셋에서 92.58%의 정확도를 기록하고 현지 데이터셋에서는 75.23%의 정확도를 달성하여, EEG의 공간 상관관계를 동적 그래프 표현으로 구현함으로써 정신적 이미지를 실시간 3차원 프린팅할 수 있다.

ABSTRACT

Electroencephalography (EEG) signals are known to manifest differential patterns when individuals visually concentrate on different objects. In this work, we present an end-to-end digital fabrication system, Brain2Object, to print the 3D object that an individual is observing by decoding visually-evoked brain signals. We propose a unified training framework that combines multi-class Common Spatial Pattern and Convolutional Neural Networks to support the backend computation. We learn the dynamical graph representations of brain signals to accurately capture the structural information among EEG channels. A user-friendly interface is developed as the system front end. Brain2Object presents a streamlined end-to-end workflow that can serve as a template for deeper integration of BCI technologies to assist with our routine activities. The proposed system is evaluated extensively using offline experiments and through an online demonstrator. The experimental results show that our approach can achieve the recognition accuracy of 92.58% on a benchmark dataset and 75.23% on a locally collected dataset. Moreover, our method consistently outperforms a wide range of baseline and state-of-the-art approaches. The proof-of-concept corroborates the practicality of our approach and illustrates the ease with which such a system could be deployed.

연구 동기 및 목표

• 시각적으로 유도된 뇌 신호를 실시간으로 3차원 프린팅된 물체로 변환하는 엔드 투 엔드 시스템을 개발한다.
• 비침습적 EEG에서 낮은 신호 대 잡음 비율과 낮은 공간 해상도 문제를 해결하기 위해 EEG 채널 간의 구조화된 공간 상관관계를 학습한다.
• 심층 학습을 통해 역동적 그래프 표현을 통합하여 EEG 기반의 물체 인식 정확도를 향상시키고 특징 추출 능력을 강화한다.
• 디지털 제조와 같은 일상 응용 분야에 적합하고 사용자 우호적인 뇌-컴퓨터 인터페이스 기술의 실용적이고 편리한 구현을 가능하게 한다.

제안 방법

• 다중 클래스 공통 공간 패턴(CSP)을 적용하여 다양한 시각적 자극 간의 분산 비율을 최대화함으로써 원시 EEG 신호에서 압축된, 클래스에 특화된 특징을 추출한다.
• 역동적 그래프 표현(DGR)을 도입하여 학습 중에 변화하는 EEG 전극 간 공간 상관관계를 포착하는 적응형 인접 행렬을 학습한다.
• DGR가 통합된 EEG 표현을 사용자 정의 컨볼루션 신경망(CNN)에 입력하여 계층적인 공간 특징을 학습하고 관측된 물체를 분류한다.
• 사용자 친화적 인터페이스를 통해 실시간 EEG 측정, 모델 추론 및 무선 3차원 프린터 제어를 통합하여 원활한 엔드 투 엔드 운영을 구현한다.
• 프레임워크는 대규모 공개 EEG 데이터셋(EEG-P)과 안정된 상태 시각 자극을 사용해 현지로 수집한 데이터셋에서 모두 학습 및 평가된다.

실험 결과

연구 질문

• RQ1 CSP와 그래프 통합 콘볼루션 신경망을 융합한 통합 딥러닝 프레임워크가 시각적으로 유도된 EEG 신호를 효과적으로 디코딩하여 물체 인식에 활용할 수 있는가?
• RQ2 역동적 그래프 표현을 통해 전극 간 공간 상관관계를 모델링함으로써 EEG 신호 분류 성능를 얼마나 향상시킬 수 있는가?
• RQ3 오프라인 평가에 비해 실시간 온라인 환경에서 시스템의 성능은 어떻게 나타나는가?
• RQ4 시스템은 실용적이고 사용자 우아한 방식으로 정신적 이미지를 물리적 3차원 프린팅된 물체로 신뢰성 있게 변환할 수 있는가?

주요 결과

• 제안된 Brain2Object 시스템은 기준 데이터셋인 EEG-P에서 92.58%의 인식 정확도를 달성하여 여러 최첨단 기준보다 뚜렷이 뛰어난 성능을 보였다.
• 안정된 시각 자극을 사용해 현지로 수집한 데이터셋에서는 75.23%의 분류 정확도를 기록하여 실제 환경 조건에서도 뛰어난 강건성을 입증하였다.
• CNN에 역동적 그래프 표현을 통합한 결과, 정적 그래프 및 비그래프 기반 기준 대비 두 데이터셋 모두에서 일관된 성능 향상을 보였다.
• 온라인 시연 결과는 오프라인 평가에 비해 성능이 낮았으며, 주로 사용자 정신 상태의 변동, 전극의 도전성 변동 및 헤드셋 위치 불일치 때문이었다.
• 시스템 지연 시간은 실시간 응용에 적합했으며, 신호 시각화 결과는 모델이 EEG 채널 전반에 걸쳐 구분 가능한 신경 패턴을 잘 포착하고 있음을 확인하였다.