[논문 리뷰] Early soft and flexible fusion of EEG and fMRI via tensor decompositions

Christos Chatzichristos, Eleftherios Kofidis외 3명|arXiv (Cornell University)|2020. 05. 12.

Blind Source Separation Techniques참고 문헌 60인용 수 6

한 줄 요약

이 논문은 텐서 분해, 특히 PARAFAC2-CPD와 커플드 CPD를 사용하여 EEG와 fMRI 데이터의 다중 방향 구조를 공동으로 모델링하는 새로운 이른 융합 프레임워크를 제안한다. 기존의 ICA 및 하드 커플링 방법에 비해 원천 분리 성능이 뛰어나고, 개인 간 HRF 변동성에 대해 뛰어난 내성성을 보이며, 소프트하고 민감한 커플링이 실제 데이터 이질성 조건에서 성능을 크게 향상시킨다.

ABSTRACT

Data fusion refers to the joint analysis of multiple datasets which provide complementary views of the same task. In this preprint, the problem of jointly analyzing electroencephalography (EEG) and functional Magnetic Resonance Imaging (fMRI) data is considered. Jointly analyzing EEG and fMRI measurements is highly beneficial for studying brain function because these modalities have complementary spatiotemporal resolution: EEG offers good temporal resolution while fMRI is better in its spatial resolution. The fusion methods reported so far ignore the underlying multi-way nature of the data in at least one of the modalities and/or rely on very strong assumptions about the relation of the two datasets. In this preprint, these two points are addressed by adopting for the first time tensor models in the two modalities while also exploring double coupled tensor decompositions and by following soft and flexible coupling approaches to implement the multi-modal analysis. To cope with the Event Related Potential (ERP) variability in EEG, the PARAFAC2 model is adopted. The results obtained are compared against those of parallel Independent Component Analysis (ICA) and hard coupling alternatives in both simulated and real data. Our results confirm the superiority of tensorial methods over methods based on ICA. In scenarios that do not meet the assumptions underlying hard coupling, the advantage of soft and flexible coupled decompositions is clearly demonstrated.

연구 동기 및 목표

• 기존의 EEG-fMRI 융합 방법이 다중 방향 데이터 구조를 忽시하거나 데이터 관계에 대해 강한 가정에 의존하는 한계를 해결한다.
• 특징 추출 단계를 피하기 위해 원시 EEG 및 fMRI 데이터를 텐서 분해를 통해 공동으로 모델링함으로써 이른 융합을 가능하게 한다.
• 특히 ERP 시간 이동이 개인 간으로 다를 경우에도, 혈관반응함수(HRF)의 개인 간 변동성에 대비한 내성성을 향상시킨다.
• 다중 모odal 뇌영상 융합을 위한 텐서 분해에서 하드 커플링 대비 소프트 및 유연한 커플링의 우수성을 입증한다.
• 데이터 특성과 사전 지식에 기반한 커플링 파라미터 및 모델 구조 선택을 위한 원칙적인 프레임워크를 제공한다.

제안 방법

• 개인별 시간 곡선과 ERP 변동성을 처리하기 위해 EEG 데이터를 PARAFAC2 텐서 분해로 모델링한다.
• 3차원 다중 방향 구조(공간 × 시간 × 피실험자)를 활용하기 위해 fMRI 데이터를 캐논리컬 폴리아딕 분해(CPD)로 모델링한다.
• 모드 간의 공간 및 시간 모드를 두 모odal 간에 연결하여 双중 커플링 텐서 분해를 구현한다.
• 정규화 항(예: λ)을 포함한 최적화를 통해 소프트하고 민감한 커플링을 구현하여 개인 간 HRF 형태의 허용 가능한 편차를 허용한다.
• HRF 형태와 ERP 지연 시간 등의 사전 지식을 제약 최적화 및 모델 선택 기준을 통해 통합한다.
• 수치적 안정성과 수렴성을 확보하기 위해 반복 최소 제곱법 및 분할 다중 승수 방법(ADMM)을 사용한 텐서 분해 알고리즘(예: Tensorlab)을 적용한다.

실험 결과

연구 질문

• RQ1 원시 EEG 및 fMRI 데이터의 이른 융합이 ICA 기반 또는 별도 분석 방법에 비해 원천 정위 정확도를 향상시키는가?
• RQ2 특히 ERP 지연 시간이 개인 간으로 다를 경우, 텐서 분해에서 소프트 및 민감한 커플링은 실제 개인 간 HRF 변동성 조건에서 어떻게 성능을 발휘하는가?
• RQ3 EEG 및 fMRI 데이터의 다중 방향 특성을 활용할 경우, 기존의 특징 수준 융합에 비해 분해의 유일성과 내성성이 얼마나 향상되는가?
• RQ4 비볼록 또는 가변 지연 형태의 대체 HRF 모델을 사용할 경우, 공동 EEG-fMRI 분해 성능에 어떤 영향을 미치는가?
• RQ5 데이터 기반 기준에 기반해 커플링 파라미터(예: λ) 및 공유 성분 수(Rc)를 효과적으로 선택하는 방법은 무엇인가?

주요 결과

• 제안된 소프트 및 민감한 커플링 텐서 분해(예: PARAFAC2-CPD)는 개인 간 HRF 변동성이 존재하는 상황에서 하드 커플링 및 ICA 기반 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 개인 간 ERP 이동이 있는 시뮬레이션 데이터에서, PARAFAC2-CPD는 추정된 원천과 진짜 원천 간 평균 피어슨 상관계수(r > 0.95)가 높게 유지되었으며, 커플드 CPD 및 ICA보다 우수했다.
• 성공적인 실행에서 원천 상관계수의 표준편차가 낮게 유지되어 높은 재현성과 안정성을 보였으며, 이는 실패할 경우 높은 변동성을 보이는 비커플링 방법과 대비된다.
• 이른 융합에서 원시 데이터를 사용함으로써 EEG와 fMRI 간 잠재적 상관관계를 유지했으며, GLM 프리프로세싱에 의존하는 방법보다 더 나은 원천 분리 성능을 보였다. 특히 HRF 변동성 조건에서 GLM 기반 방법은 실패했다.
• ICA 기반 방법은 HRF가 일치하지 않을 경우 겹치는 원천을 정확히 분리하지 못하는 것으로 확인되었다.
• 커플링 제약 조건은 분해의 유일성을 향상시키고 결과의 변동성을 감소시켜, 가정이 위반되어도 프레임워크의 내성성을 강화했다.