[논문 리뷰] A Survey on Deep Learning-based Non-Invasive Brain Signals:Recent Advances and New Frontiers

Xiang Zhang, Lina Yao외 4명|arXiv (Cornell University)|2019. 05. 10.

EEG and Brain-Computer Interfaces참고 문헌 264인용 수 18

한 줄 요약

이 종합 검토는 비침습적 뇌 신호 분석을 위한 딥러닝의 최근 발전을 다루며, EEG, fNIRS, fMRI를 포함한다. 뇌 신호의 분류 체계를 제시하고, 자동 특징 추출 및 분류를 위한 딥러닝 기법을 평가하며, 헬스케어, 뇌-기계 인터페이스(BCI), 인간-컴퓨터 상호작용 분야의 실질적 응용을 강조한다. 또한 실시간 처리, 데이터 효율성, 하드웨어 이식성과 같은 핵심 과제를 밝혀낸다.

ABSTRACT

Brain-Computer Interface (BCI) bridges the human's neural world and the outer physical world by decoding individuals' brain signals into commands recognizable by computer devices. Deep learning has lifted the performance of brain-computer interface systems significantly in recent years. In this article, we systematically investigate brain signal types for BCI and related deep learning concepts for brain signal analysis. We then present a comprehensive survey of deep learning techniques used for BCI, by summarizing over 230 contributions most published in the past five years. Finally, we discuss the applied areas, opening challenges, and future directions for deep learning-based BCI.

연구 동기 및 목표

• 비침습적 뇌 신호와 그 분석에 사용되는 딥러닝 모델에 대한 종합적인 분류 체계를 제공하기 위해.
• 뇌 신호 복원에서 특징 추출 및 분류를 위한 최신 딥러닝 기법을 요약하기 위해.
• 보조 기술 및 신경진단 분야를 포함한 뇌 신호 분석에서의 딥러닝 응용 사례를 규명하기 위해.
• 실제 구현을 위한 주요 과제인 온라인 구현, 데이터 효율성, 하드웨어 이식성에 대해 강조하기 위해.
• 다양한 종류의 비침습적 뇌 신호에 적합한 딥러닝 아키텍처를 선택하는 데 연구자들을 안내하기 위해.

제안 방법

• EEG, fNIRS, fMRI, MEG와 같은 비침습적 뇌 신호를 측정 방법, 신호 특성, 응용 분야 기준으로 분류한다.
• 엔드 투 엔드 뇌 신호 처리를 위한 핵심 딥러닝 아키텍처(예: CNN, RNN, 오토에인코더, 트랜스포머)를 검토한다.
• 노이즈 제거, 정규화, 차원 축소를 포함한 신호 전처리 파이프라인을 분석하여 신호 대 잡음 비율을 향상시킨다.
• 특징 표현 향상을 위해 전통적 신호 처리와 딥러닝을 융합한 하이브리드 모델을 평가한다.
• 뇌 신호 연구에서 레이블이 부족한 문제를 해결하기 위해 자기지도 학습 및 준지도 학습 기법을 논의한다.
• 정확도와 지연 시간의 균형을 맞추기 위해 실시간 시스템에서의 온라인 추론 전략과 후처리 기법(예: 투표, 집계)을 검토한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 전통적인 머신러닝 기법에 비해 비침습적 뇌 신호 분석에서 특징 추출 및 분류 정확도를 어떻게 향상시키는가?
• RQ2 다양한 종류의 비침습적 뇌 신호(예: EEG, fNIRS, fMRI)에 가장 효과적인 딥러닝 아키텍처는 무엇인가?
• RQ3 자기지도 학습 및 준지도 학습 기법은 레이블이 부족한 뇌 신호 데이터 문제를 어떻게 완화할 수 있는가?
• RQ4 뇌 신호 시스템에서 딥러닝 모델의 실시간 온라인 구현을 방해하는 주요 장애물은 무엇인가?
• RQ5 일상적 사용을 위한 이식 가능하고 웨어러블이며 사용자 友好的 뇌 신호 측정을 가능하게 하기 위해 필요한 하드웨어 발전은 무엇인가?

주요 결과

• 딥러닝 모델은 전통적 분류기보다 뇌 신호 분류에서 유의미하게 뛰어나며, 수작업 특징 공학에 대한 의존도를 낮춘다.
• 엔드 투 엔드 딥러닝 접근 방식은 시간, 주파수, 또는 시간-주파수 도메인에서 수작업으로 추출한 특징에 의존하는 전통적 파이프라인보다 더 높은 정확도를 달성한다.
• 온라인 뇌 신호 시스템은 실시간 데이터 스트림의 노이즈 증가와 불안정성으로 인해 오프라인 대비 약 10%의 성능 저하를 겪는 경향이 있다.
• 자기지도 학습 및 비지도 도메인 적응 기법은 레이블이 부족한 상황에서 모델 일반화 능력을 향상시키는 데 잠재력이 있다.
• 이어EEG 센서는 웨어러블하고 편안하며 이식 가능한 뇌 신호 측정을 위한 유망한 분야이지만 여전히 개발이 부족한 분야이다.
• 투표 및 집계와 같은 후처리 방법은 온라인 복원 성능을 향상시킬 수 있지만 지연을 유발하므로 속도와 정확도 사이의 상충 관계를 고려해야 한다.