[논문 리뷰] Deep Neural Imputation: A Framework for Recovering Incomplete Brain Recordings

Sabera Talukder, Jennifer J. Sun외 3명|arXiv (Cornell University)|2022. 06. 16.

Neural dynamics and brain function인용 수 10

한 줄 요약

이 논문은 깊이 있는 생성적 오토인코더와 선형 근접 이웃 기반 모델을 사용하여 일주일 및 참가자 간 다중전극 뇌내 EEG 데이터의 누락된 부분을 복원하는 Deep Neural Imputation (DNI) 프레임워크를 제안한다. DNI는 시간 시리즈 및 주파수 성분 모두를 정확하게 복원할 수 있으며, 최대 50%의 누락 데이터가 존재하는 상황에서도 후행 신경 해석 성능을 크게 향상시켜 실제 신경과학 연구에서의 실용성을 입증한다.

ABSTRACT

Neuroscientists and neuroengineers have long relied on multielectrode neural recordings to study the brain. However, in a typical experiment, many factors corrupt neural recordings from individual electrodes, including electrical noise, movement artifacts, and faulty manufacturing. Currently, common practice is to discard these corrupted recordings, reducing already limited data that is difficult to collect. To address this challenge, we propose Deep Neural Imputation (DNI), a framework to recover missing values from electrodes by learning from data collected across spatial locations, days, and participants. We explore our framework with a linear nearest-neighbor approach and two deep generative autoencoders, demonstrating DNI's flexibility. One deep autoencoder models participants individually, while the other extends this architecture to model many participants jointly. We evaluate our models across 12 human participants implanted with multielectrode intracranial electrocorticography arrays; participants had no explicit task and behaved naturally across hundreds of recording hours. We show that DNI recovers not only time series but also frequency content, and further establish DNI's practical value by recovering significant performance on a scientifically-relevant downstream neural decoding task.

연구 동기 및 목표

• 다중전극 뇌기록에서 손상되거나 누락된 전극 기록을 기각하는 문제를 해결하여 데이터 가용성을 높이고 모델의 일반화 능력을 제한하는 것을 목표로 한다.
• 세션과 개인 간 누락된 데이터를 통합적으로 보정하는 프레임워크를 개발하여 뇌내 EEG 데이터셋의 공간적·시간적 변동성을 극복한다.
• 누락된 데이터가 상당한 수준임에도 불구하고, 후행 신경과학 작업(예: 신경 해석)의 성능을 복원할 수 있는가를 평가한다.
• 참가자 간 및 일간 공유된 표현을 학습하여 개별 세션을 초월해 일반화된 보정을 가능하게 할 수 있는지를 탐색한다.
• 특히 참가자 간 높은 변동성을 보이는 뇌내 기록에 대해 다변량 시간 시리즈 보정의 기준을 설정한다.

제안 방법

• DNI는 학습 중에 무작위 전극을 마스킹하고 모델이 이를 재구성하도록 하는 자기지도 학습 방식의 마스킹 전극 모델링 작업을 사용하며, BERT 스타일의 사전학습과 유사하다.
• 비교를 위해 선형 근접 이웃 기반 모델을 포함하고, 참가자별로 특화된 CNNAE와 참가자 간 공동으로 모델링하는 공동-참가자 M-CNNAE라는 두 가지 깊이 생성 오토인코더 모델을 사용한다. M-CNNAE는 공유된 내부 레이어와 참가자별로 특화된 인코더/디코더를 갖는다.
• M-CNNAE 모델은 공유된 은닉 레이어를 사용하면서도 참가자별로 특화된 인코더/디코더를 갖기 때문에, 다양한 전극 구성 간의 일반화를 가능하게 하여 참가자 간 데이터를 동시에 모델링한다.
• 보정은 테스트 데이터에서 전극을 마스킹하고, 훈련된 모델을 사용해 누락된 값을 예측함으로써 수행되며, 재구성 성능은 시간 시리즈 및 스펙트럼 성분 기준으로 평가된다.
• 해당 방법은 다수의 일주일에 걸쳐 자연스러운 행동 기록을 수백 시간 동안 수행한 12명의 인간 참가자에게서 획득한 뇌전도 측정(ECoG) 어레이 데이터를 대상으로 평가되었다.
• 주파수 성분 복원 능력은 재구성된 신호와 진짜 신호의 파wer 스펙트럼을 비교하여 평가되었으며, DNI는 명시적인 주파수 모델링 없이도 스펙트럼 특성을 잘 유지함을 보였다.

실험 결과

연구 질문

• RQ1 깊이 있는 신경망은 매우 다양한 전극 구성이 존재하는 상황에서 일주일 및 참가자 간 다중전극 뇌 시간 시리즈 데이터의 누락된 부분을 효과적으로 복원할 수 있는가?
• RQ2 참가자 간 공유된 표현을 사용해 누락된 데이터를 보정할 경우, 참가자별 개별 모델 대비 재구성 정확도와 일반화 능력이 향상되는가?
• RQ3 DNI는 시간 시리즈 외에도 신호의 주파수 도메인 성분(스펙트럼)을 얼마나 잘 복원할 수 있는가?
• RQ4 누락된 데이터를 보정한 데이터를 사용할 경우, 기존에 누락된 데이터를 기각하는 것과 비교해 후행 신경과학 작업(예: 신경 해석)의 성능 향상이 유의미하게 이루어지는가?
• RQ5 특히 전체 세션 동안 전체 전극이 누락된 경우를 포함해 누락 데이터 비율이 증가함에 따라 DNI의 성능은 어떻게 변화하는가?

주요 결과

• DNI는 최대 50%의 전극 데이터가 누락된 상황에서도 시간 시리즈와 주파수 성분을 모두 성공적으로 복원하며, 명시적인 주파수 모델링 없이도 스펙트럼 특성을 잘 유지한다.
• 선형 근접 이웃 기반 모델은 10% 미만의 누락 데이터에서 양호한 성능를 보이지만, DNI의 깊이 오토인코더 모델은 더 높은 누락 비율에서 뚜렷한 승리를 거두었다.
• 다양한 참가자를 동시에 모델링하는 M-CNNAE 모델은, 새로운 참가자의 데이터를 보정해야 하는 DOPE-일반화 가능 범주에서 최신 기술 성능을 달성했다.
• DNI는 보정된 데이터를 사용할 경우 후행 신경 해석 성능에 뚜렷한 향상을 이끌어내어 실제 신경과학 파이프라인에서의 실용성을 입증했다.
• 시간 시리즈 재구성 정확도와 주파수 성분 복원 능력 사이에 정적 상관관계가 발견되어, 시간적 구조가 암묵적으로 주파수 정밀도를 지원함을 시사한다.
• 이 프레임워크는 선형 및 비선형 모델 모두와 호환되어 다양한 뇌 데이터 분석 워크플로우에 유연하고 광범위하게 적용 가능하다.