[논문 리뷰] Internet of Things Meets Brain-Computer Interface: A Unified Deep Learning Framework for Enabling Human-Thing Cognitive Interactivity

Xiang Zhang, Lina Yao외 4명|arXiv (Cornell University)|2018. 05. 01.

EEG and Brain-Computer Interfaces참고 문헌 17인용 수 11

한 줄 요약

이 논문은 뇌-컴퓨터 인터페이스(BCI)와 사물인터넷(IoT)을 통합하여 실시간으로 사고 기반 제어가 가능한 통합 딥러닝 프레임워크를 제안한다. 강화학습 기반의 선택적 주의 메커니즘(SAM)과 수정된 가중 평균 공간 순환 순환 신경망(WAS-LSTM)을 활용하여, 노이즈가 많은 뇌전도도(EEG) 신호로부터 자동으로 주요 특징을 추출하고, 실제 인간-사물 인지 상호작용 작업에서 최신 기준 모델들을 능가하는 높은 정확도의 의도 인식을 달성한다.

ABSTRACT

A Brain-Computer Interface (BCI) acquires brain signals, analyzes and translates them into commands that are relayed to actuation devices for carrying out desired actions. With the widespread connectivity of everyday devices realized by the advent of the Internet of Things (IoT), BCI can empower individuals to directly control objects such as smart home appliances or assistive robots, directly via their thoughts. However, realization of this vision is faced with a number of challenges, most importantly being the issue of accurately interpreting the intent of the individual from the raw brain signals that are often of low fidelity and subject to noise. Moreover, pre-processing brain signals and the subsequent feature engineering are both time-consuming and highly reliant on human domain expertise. To address the aforementioned issues, in this paper, we propose a unified deep learning based framework that enables effective human-thing cognitive interactivity in order to bridge individuals and IoT objects. We design a reinforcement learning based Selective Attention Mechanism (SAM) to discover the distinctive features from the input brain signals. In addition, we propose a modified Long Short-Term Memory (LSTM) to distinguish the inter-dimensional information forwarded from the SAM. To evaluate the efficiency of the proposed framework, we conduct extensive real-world experiments and demonstrate that our model outperforms a number of competitive state-of-the-art baselines. Two practical real-time human-thing cognitive interaction applications are presented to validate the feasibility of our approach.

연구 동기 및 목표

• 비침습적 BCI에서 낮은 신호 품질과 높은 노이즈 문제를 해결하여 실질적인 IoT 상호작용을 가능하게 하기 위해.
• BCI 시스템에서 시간이 많이 소요되고 전문 지식이 필요한 사전 처리 및 특징 공학을 제거하기 위해.
• 직접적인 뇌 신호 해석을 통해 인간과 IoT 기기 간의 엔드 투 엔드 실시간 인지 상호작용을 실현하기 위해.
• EEG 데이터의 시간적 동적 특성과 채널 간 상관관계를 모두 포착하는 견고하고 확장 가능한 딥러닝 프레임워크를 개발하기 위해.
• 뇌 타이핑 및 인지 로봇 제어와 같은 실제 응용 분야에서 프레임워크의 유효성을 검증하기 위해.

제안 방법

• 강화학습 기반의 선택적 주의 메커니즘(SAM)을 제안하여, 동적으로 가장 정보가 풍부한 EEG 신호 세그먼트를 식별하고 집중하도록 한다.
• EEG 채널 간의 다차원 상관관계를 가중 공간 평균을 사용해 모델링하는 수정된 순환 순환 신경망(LSTM)인 WAS-LSTM을 도입한다.
• 개별 사용자에 맞춘 사전 학습된 딥러닝 모델을 클라우드 서버에 배포하여, IoT 기기와 연결된 장치로부터 온라인으로 수신된 원시 EEG 스트림을 처리한다.
• 공동 결정 메커니즘: 0.5초 간격으로 수집된 64개의 EEG 샘플에서 연속으로 일致된 의도 결정이 3회 이상 발생할 경우에만 명령을 내린다.
• 모드 기반 결정 융합을 적용하여 의도 분류의 신뢰성을 향상시키고 오류 발생률을 낮춘다.
• 128 Hz 샘플링 속도로 Emotiv EPOC+ 헤드셋에서 확보한 EEG 데이터를 사용하여 실세계 IoT 환경에 프레임워크를 구현하였으며, 데이터는 0.5초 간격으로 처리된다.

실험 결과

연구 질문

• RQ1 수동적인 특징 공학 없이도 낮은 품질의 노이즈가 많은 EEG 신호를 효과적으로 해독하여 IoT 기기 제어 명령으로 변환할 수 있는가?
• RQ2 강화학습 기반의 주의 메커니즘은 원시 EEG 데이터에서 의도 인식을 위한 주요 시간 패턴을 얼마나 잘 식별할 수 있는가?
• RQ3 채널 간 공간적 상관관계를 모델링함으로써 인지 IoT 시스템에서 뇌 신호 분류 정확도는 어느 정도 향상되는가?
• RQ4 제안된 프레임워크는 뇌 타이핑 및 로봇 제어와 같은 실제 응용 분야에서 실시간으로 신뢰할 수 있는 인간-사물 인지 상호작용을 가능하게 하는가?
• RQ5 기존 최신 기준 BCI 모델들과 비교했을 때 제안된 WAS-LSTM 및 SAM 구성 요소의 성능 향상 정도는 어떠한가?

주요 결과

• 제안된 프레임워크는 실제 EEG 데이터에서 의도 인식 정확도 면에서 여러 최신 기준 모델들을 능가한다.
• 인지 로봇 제어 시뮬레이션 동안 물체를 집고 놓는 작업에서 정밀도가 100%를 기록하여 높은 신뢰성을 입증했다.
• 3회 연속 일致된 결정이 필요하다는 공식 결정 메커니즘이 시스템의 안정성을 크게 향상시키고 오류 명령을 줄였다.
• WAS-LSTM 모델은 EEG 채널 간의 공간 상관관계를 효과적으로 포착하여 특징 표현의 정교함과 분류의 견고성을 향상시켰다.
• SAM 구성 요소는 원시 EEG에서 관련 있는 신호 세그먼트를 성공적으로 식별하여 노이즈 영향을 줄이고 모델의 주요 특징에 대한 집중도 향상시켰다.
• 프레임워크는 실시간으로 IoT 기기와의 인지 상호작용을 가능하게 하였으며, 스마트 홈 및 보조 응용 분야에 실질적인 구현에 적합한 처리 지연 시간을 확보했다.