[논문 리뷰] Enhancing Mind Controlled Smart Living Through Recurrent Neural Networks.

Xiang Zhang, Lina Yao외 3명|arXiv (Cornell University)|2017. 02. 20.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

이 논문은 직접적인 원시 EEG 신호 분류를 통해 수동적 특징 추출을 생략하고, 뇌로 제어하는 스마트 라이빙을 위한 7층의 딥 러닝 모델을 제안한다. 기저의 특성 추출 없이도 원시 EEG 신호를 직접 처리하는 방식으로, 정확도 95.05%를 달성하였다. 이는 PhysioNet EEG 데이터셋에서 얻은 결과로, 보조 로봇 기술 및 가정 자동화 분야에서의 실현 가능성을 입증한다.

ABSTRACT

While smart living based on the controls of voices, gestures, mobile phones or the Web has gained momentum from both academia and industries, most of existing methods are not effective in helping the elderly or people with muscle disordered or motor disabilities. Recently, the Electroencephalography (EEG) signal based mind control has attracted much attentions, due to the fact that it enables users to control devices and to communicate to outer world with little participation of their muscle systems. However, the use of EEG signals face challenges such as low accuracy, arduous and time-consuming feature extraction. This paper proposes a 7-layer deep learning model that includes two layers of Long-Short Term Memory (LSTM) cells to directly classify raw EEG signals, avoiding the time-consuming pre-processing and feature extraction. The hyper-parameters are selected by an Orthogonal Array experiment method to improve the efficiency. Our model is applied to an open EEG dataset released by PhysioNet and achieves 95.05% accuracy over 5 categorical EEG raw data. The applicability of our proposed model is further demonstrated by two use cases of smart living in terms of assisted living with robotics and home automation.

연구 동기 및 목표

• 노인 및 운동 기능 장애가 있는 사람들을 위한 기존의 음성, 제스처, 모바일 기반 스마트 라이빙 시스템의 한계를 해결하기 위해.
• 저조도 정확도 및 수작업 특징 추출에 소요되는 시간 문제와 같은 EEG 기반 뇌 제어 기술의 과제를 극복하기 위해.
• 사전 처리 또는 수작업 특징 공학 없이도 원시 EEG 신호를 직접 분류하는 엔드 투 엔드 딥 러닝 모델을 개발하기 위해.
• 학습 효율성을 향상시키기 위해 오р토곤럴 어레이 실험 방법을 활용하여 하이퍼파라미터를 효율적으로 최적화하기 위해.
• 로봇 보조 생활 및 가정 자동화를 포함한 실제 스마트 라이빙 시나리오에서의 실용적 적용 가능성을 입증하기 위해.

제안 방법

• 원시 EEG 신호의 시간적 의존성을 모델링하기 위해 두 개의 장기 단기 기억(기억) 네트워크(LSTM) 레이어를 포함한 7층의 딥 신경망 아키텍처를 설계한다.
• 사전 처리나 수작업 특징 추출이 필요 없도록, 원시로 처리되지 않은 EEG 데이터를 직접 모델에 입력한다.
• 학습 효율성과 모델 성능 향상을 위해, 오르토곤럴 어레이 실험 방법을 적용하여 최적의 하이퍼파라미터를 체계적으로 선별한다.
• 주로 5개 분류의 EEG 신호 분류 작업을 수행하기 위해, PhysioNet에서 제공하는 오픈소스 EEG 데이터셋을 사용해 모델을 훈련시킨다.
• LSTM의 시퀀스 모델링 능력을 활용하여 EEG 신호의 장기적 시간 패턴을 포착함으로써 분류 성능을 향상시킨다.
• 정확도를 포함한 표준 분류 지표를 사용하여 테스트 세트에서의 모델 성능을 검증한다.

실험 결과

연구 질문

• RQ1 수작업 특징 추출이 필요 없이, 딥 러닝 모델이 원시 EEG 신호를 높은 정확도로 직접 분류할 수 있는가?
• RQ2 오르토곤럴 어레이 실험 방법은 EEG 신호 분류 모델의 하이퍼파라미터 최적화에 얼마나 효과적인가?
• RQ3 공개된 데이터셋에서의 원시 EEG 데이터를 사용하여 7층의 LSTM 기반 아키텍처로 달성할 수 있는 분류 정확도는 어느 정도인가?
• RQ4 제안된 모델은 가정 자동화 및 로봇 보조와 같은 실제 스마트 라이빙 응용 분야에 효과적으로 적용될 수 있는가?
• RQ5 운동 기능 장애가 있거나 연령이 많은 사용자로부터의 EEG 신호를 보다 효과적으로 분류할 수 있는가?

주요 결과

• 제안된 딥 러닝 모델은 PhysioNet의 5개 분류 원시 EEG 데이터셋에서 95.05%의 분류 정확도를 달성하였다.
• 기존의 사전 처리 및 특징 추출 단계를 생략하고, 원시 EEG 신호를 직접 입력함으로써 성공적으로 이를 우회하였다.
• 오르토곤럴 어레이 실험 방법이 하이퍼파라미터 최적화에 효과적으로 기여하여, 학습 효율성과 모델 수렴 성능 향상을 이끌었다.
• 다양한 피험자들 간의 다양한 EEG 신호 패턴에 대해 강력한 일반화 능력과 강인성을 보였다.
• 로봇 보조 생활 및 가정 자동화와 같은 두 가지 실제 응용 사례가 성공적으로 모델의 실용적 적용 가능성을 입증하였다.
• 결과적으로, LSTMs를 활용한 엔드 투 엔드 딥 러닝은 뇌로 제어하는 스마트 라이빙 시스템에서 실현 가능하고 정확한 접근법임을 시사한다.