[논문 리뷰] Deep learning approaches for neural decoding: from CNNs to LSTMs and spikes to fMRI

Jesse A. Livezey, Joshua I. Glaser|arXiv (Cornell University)|2020. 05. 19.

EEG and Brain-Computer Interfaces인용 수 5

한 줄 요약

이 논문은 신경 해독(neural decoding)을 위한 딥러닝 접근법을 검토하며, CNN, LSTM 및 기타 아키텍처가 스파이크에서 fMRI에 이르기까지 뇌 신호에서 행동, 인지 상태 및 인지 상태를 예측하는 데 정확도를 향상시키는 방식을 보여준다. 또한 복잡한 출력(예: 음성, 영상)을 위한 사전 학습된 네트워크를 사전 지식(prior)으로 사용하는 방법과, 신경과학 적용 분야에서 과학적 통찰을 얻기 위한 전이 학습(transfer learning)과 해석 가능성(interpretability)을 논의한다.

ABSTRACT

Decoding behavior, perception, or cognitive state directly from neural signals has applications in brain-computer interface research as well as implications for systems neuroscience. In the last decade, deep learning has become the state-of-the-art method in many machine learning tasks ranging from speech recognition to image segmentation. The success of deep networks in other domains has led to a new wave of applications in neuroscience. In this article, we review deep learning approaches to neural decoding. We describe the architectures used for extracting useful features from neural recording modalities ranging from spikes to EEG. Furthermore, we explore how deep learning has been leveraged to predict common outputs including movement, speech, and vision, with a focus on how pretrained deep networks can be incorporated as priors for complex decoding targets like acoustic speech or images. Deep learning has been shown to be a useful tool for improving the accuracy and flexibility of neural decoding across a wide range of tasks, and we point out areas for future scientific development.

연구 동기 및 목표

• 스파이크, EEG, fMRI, fNIRS를 포함한 다양한 신경 기록 방식에서 딥러닝의 응용을 검토하는 것.
• CNN, RNN, LSTM과 같은 다양한 딥러닝 아키텍처가 특정 신경 데이터 유형과 해독 작업에 어떻게 적합한지 평가하는 것.
• 음성 및 시각적 영상과 같은 복잡한 출력을 해독하기 위해 사전 학습된 딥 네트워크를 사전 지식(prior)으로 사용하는 방법을 탐색하는 것.
• 일반화 능력 향상과 신경과학적 통찰을 높이기 위해 전이 학습 및 해석 가능성 기법을 개선하는 방법을 검토하는 것.
• 데이터 효율성, 모델의 해석 가능성, 딥러닝과 신경과학 연구의 융합에 있어 열려 있는 과제를 규명하는 것.

제안 방법

• 1D(스파이크, EEG), 2D(fMRI 슬라이스), 3D(부피형 fMRI) 신경 데이터에서 계층적이고 이동 불변성(motion-invariant) 특징을 추출하기 위해 합성곱 신경망(CNNs)을 활용한다.
• 신경 시퀀스의 시간적 종속성을 모델링하기 위해 순환 신경망(RNNs)과 LSTM을 사용하여 가변 길이의 시험을 영리하게 처리할 수 있도록 한다.
• 대규모 데이터셋(예: ImageNet)에서 사전 학습된 모델을 미세 조정(fine-tuning)하여 신경 활동을 영상이나 음성과 같은 복잡한 출력으로 해독하는 데 전이 학습을 적용한다.
• 제한된 신경 데이터에서 과적합을 줄이기 위해 뉴런 또는 채널 간에 가중치 공유를 적용하여 공통의 데이터 기반 특징을 학습한다.
• 주의 메커니즘(attention mechanisms)과 특징 기여도 방법(feature attribution methods)을 사용하여 예측에 가장 기여하는 신경 입력(채널, 시간 포인트, 뉴런)을 식별한다.
• 표준 딥러닝 프레임워크(PyTorch, TensorFlow)와 표준 최적화 및 손실 함수를 사용하지만, 과적합을 방지하기 위해 교차 검증을 철저히 수행한다.

실험 결과

연구 질문

• RQ1 CNN, LSTM과 같은 다양한 딥러닝 아키텍처가 다양한 신경 기록 방식에서 신경 해독 정확도를 어떻게 향상시키는가?
• RQ2 사전 학습된 딥 네트워크가 음성이나 영상과 같은 고차원 출력을 뇌 신호에서 해독하기 위해 얼마나 효과적인 사전 지식(prior)으로 기능할 수 있는가?
• RQ3 전이 학습이 데이터가 제한적이거나 새로운 피험자에 대해 해독 성능을 어떻게 향상시키는가?
• RQ4 해석 가능성 기법은 신경 해독기가 신경과학적 맥락에서 학습한 변환을 이해하는 데 어떻게 적용될 수 있는가?
• RQ5 fMRI나 fNIRS와 같이 SNR가 낮거나 표본 수가 적은 데이터에 적용했을 때, 딥러닝의 신경 해독 응용에서의 한계는 무엇인가?

주요 결과

• 특히 CNN과 LSTM을 포함한 딥러닝 모델은 비교적 작은 데이터셋에서도 선형 및 얕은 방법보다 뛰어난 성능을 보이며 신경 해독 과제에서 승리한다.
• 사전 학습된 딥 네트워크는 강력한 인덕티브 바이어스를 제공함으로써 음성과 시각적 영상과 같은 복잡한 출력을 해독하는 데 정확도를 크게 향상시킨다.
• 전이 학습은 데이터가 제한된 새로운 피험자나 새로운 출력에 대해 효과적인 해독을 가능하게 하여 광범위한 재학습이 필요 없도록 한다.
• 특징 기여도 및 주의 메커니즘과 같은 해석 가능성 기법은 예측에 가장 기여하는 뉴런이나 시간 포인트를 식별할 수 있다.
• 높은 성능에도 불구하고, 해독기에서 학습된 표현은 신경 활동과 사전 지식(예: 사전 학습된 모델에서 온 지식)의 영향을 받으며, 이는 뇌 정보 콘텐츠에 대한 직접적 추론을 제한한다.
• 과적합은 fMRI나 fNIRS와 같이 데이터가 희박하고 고차원적인 신경과학적 응용에서 여전히 우려되는 문제이며, 교차 검증과 정규화를 철저히 수행할 필요가 있다.