[논문 리뷰] Deep Semantic Architecture with discriminative feature visualization for neuroimage analysis

Arna Ghosh, Fabien Dal Maso외 3명|arXiv (Cornell University)|2018. 05. 29.

EEG and Brain-Computer Interfaces참고 문헌 26인용 수 5

한 줄 요약

이 논문은 운동 중 운동 과제 동안 뇌전도(EEG) 신호의 변화를 식별하기 위해 새로운 쿠-결합 기반의 클래스 활성화 맵(ccCAM) 방법을 사용한 딥 컨volution 신경망을 제안한다. 시간-주파수 및 위상적 EEG 맵을 기반으로 훈련함으로써, 모델은 분류 가능한 시공간 패턴을 시각화하며, 급성 운동 효과와 관련된 23–33 Hz 주파수 대역과 이동하는 피각 활동을 드러낸다—신경영상 분석에서 사전 특징 선택을 피하는 데이터 기반의 대안을 제공한다.

ABSTRACT

Neuroimaging data analysis often involves \emph{a-priori} selection of data features to study the underlying neural activity. Since this could lead to sub-optimal feature selection and thereby prevent the detection of subtle patterns in neural activity, data-driven methods have recently gained popularity for optimizing neuroimaging data analysis pipelines and thereby, improving our understanding of neural mechanisms. In this context, we developed a deep convolutional architecture that can identify discriminating patterns in neuroimaging data and applied it to electroencephalography (EEG) recordings collected from 25 subjects performing a hand motor task before and after a rest period or a bout of exercise. The deep network was trained to classify subjects into exercise and control groups based on differences in their EEG signals. Subsequently, we developed a novel method termed the cue-combination for Class Activation Map (ccCAM), which enabled us to identify discriminating spatio-temporal features within definite frequency bands (23--33 Hz) and assess the effects of exercise on the brain. Additionally, the proposed architecture allowed the visualization of the differences in the propagation of underlying neural activity across the cortex between the two groups, for the first time in our knowledge. Our results demonstrate the feasibility of using deep network architectures for neuroimaging analysis in different contexts such as, for the identification of robust brain biomarkers to better characterize and potentially treat neurological disorders.

연구 동기 및 목표

• 신경영상 분석에서 사전 특징 선택을 회피하는 데이터 기반 딥 러닝 프레임워크를 개발하는 것.
• 급성 운동이 운동 학습에 미치는 영향과 관련된 분류 가능한 시공간 신경 패턴을 식별하는 것.
• 새로운 해석 가능성 방법을 사용하여 운동 유도 뇌 활동 조절의 신경 기제를 시각화하는 것.
• 소규모 샘플 신경영상 연구에서 미세하고 군별 특이적인 신경 생물학적 지표를 탐지할 수 있도록 하는 것.
• 제한된 데이터로도 해석 가능성과 함께 딥 러닝을 EEG에 적용할 수 있는 가능성을 입증하는 것.

제안 방법

• 운동 전후의 EEG 데이터에서 특징을 추출하기 위해 이중 스트림 CNN 아키텍처를 사용하였다.
• 개인별 특징 대신 개인에 관계없이 동일한 특징을 학습하기 위해 참가자 예측 적대기법을 통합하였다.
• 계층적 훈련: 먼저 시간-주파수 표현에서, 그 다음에 피각의 위상적 맵에서 수행하였다.
• 다양한 쿠(예: 클래스 활성화 및 기울기 정보)를 조합하여 분류 가능한 뇌 영역과 주파수를 시각화하는 새로운 ccCAM 방법을 개발하였다.
• 참가자 간 평균화된 ccCAM을 사용하여 일관된 주파수 대역과 시공간 전파 패턴을 식별하였다.
• 개인 참가자에게 과적합되는 것을 방지하기 위해 정규화 기법을 적용하여 소규모 데이터셋에서의 일반화 능력을 향상시켰다.

실험 결과

연구 질문

• RQ1 운동 과제 중 급성 운동으로 인해 EEG 신호의 어떤 주파수 대역이 유의미하게 조절되는가?
• RQ2 급성 운동은 이sovolumetric 손가락 쥐기 동안 피각 전역의 신경 활동 시공간 역학을 어떻게 변화시키는가?
• RQ3 해석 가능한 특징 시각화 기능을 갖춘 딥 러닝 모델은 전통적인 사전 특징 선택으로는 포착되지 않는 미세한 분류 가능한 신경 패턴을 탐지할 수 있는가?
• RQ4 제안된 ccCAM 방법은 운동에 대한 반응으로 뇌 영역 간에 신경 활동이 어떻게 전파되는지를 어느 정도 드러낼 수 있는가?
• RQ5 대규모 데이터셋이 필요 없이도 소규모 샘플 신경영상 연구에서 모델이 강건하고 효과적인가?

주요 결과

• ccCAM은 운동군과 대조군 간에 가장 분류 가능한 주파수 대역으로 23–33 Hz를 식별하였으며, ccCAM 출력에서 p-value는 0.021이었다.
• 위상적 EEG 맵을 사용하여 군을 구분할 때 모델은 98.70%의 분류 정확도를 달성하였고(대조군 98.94%, 운동군 98.43%),
• 23–33 Hz 대역에서 음성 ccCAM 값은 운동 후 이벤트 관련 탈감소(ERD) 감소를 나타내어 작업 수행에 필요한 신경 활동 감소를 시사한다.
• 이 연구는 처음으로 이sovolumetric 손가락 쥐기 동안 후두엽에서 운동 피각으로 이동하는 피각 활동의 이동 패턴을 ccCAM 영상 분석을 통해 시각화하였다.
• ccCAM 결과는 이전 연구와 일관되지만, 이전에 사용된 넓은 베타 대역(15–29 Hz)보다 더 좁고 구체적인 주파수 대역(23–33 Hz)을 규명하였다.
• 개인 참가자에게 과적합되는 것을 방지하는 정규화 기법을 통해 소규모 샘플 EEG 연구에서 모델의 효과성을 입증하였다.