[논문 리뷰] DreaMR: Diffusion-driven Counterfactual Explanation for Functional MRI

Hasan A. Bedel, Tolga Çukur|arXiv (Cornell University)|2023. 07. 18.

Advanced Neuroimaging Techniques and Applications인용 수 4

한 줄 요약

DreaMR는 기능적 자기공명영상(fMRI)에 대한 새로운 확산 기반 반사적 설명 방법으로, 분수 다단계 정련된 확산 사전과 트랜스포머 기반 아키텍처를 활용하여 장거리 시공간적 상관관계를 모델링함으로써 고해상도이고 현실적인 반사적 fMRI 샘플을 생성한다. 이는 fMRI 해석 분야에서 최신 기술 대비 뛰어난 특이성, 신뢰성 및 샘플링 효율성을 달성하여 뇌 반응에 대한 더 신뢰할 수 있고 해석 가능한 딥러닝 분석을 가능하게 한다.

ABSTRACT

Deep learning analyses have offered sensitivity leaps in detection of cognitive states from functional MRI (fMRI) measurements across the brain. Yet, as deep models perform hierarchical nonlinear transformations on their input, interpreting the association between brain responses and cognitive states is challenging. Among common explanation approaches for deep fMRI classifiers, attribution methods show poor specificity and perturbation methods show limited plausibility. While counterfactual generation promises to address these limitations, previous methods use variational or adversarial priors that yield suboptimal sample fidelity. Here, we introduce the first diffusion-driven counterfactual method, DreaMR, to enable fMRI interpretation with high specificity, plausibility and fidelity. DreaMR performs diffusion-based resampling of an input fMRI sample to alter the decision of a downstream classifier, and then computes the minimal difference between the original and counterfactual samples for explanation. Unlike conventional diffusion methods, DreaMR leverages a novel fractional multi-phase-distilled diffusion prior to improve sampling efficiency without compromising fidelity, and it employs a transformer architecture to account for long-range spatiotemporal context in fMRI scans. Comprehensive experiments on neuroimaging datasets demonstrate the superior specificity, fidelity and efficiency of DreaMR in sample generation over state-of-the-art counterfactual methods for fMRI interpretation.

연구 동기 및 목표

• 딥러닝 모델의 fMRI 해석 문제를 해결하기 위해 최소한의 수정과 함께 현실적인 반사적 샘플을 생성함으로써.
• 기존 반사적 방법이 변동성 또는 적대적 사전에 의존하여 낮은 품질이나 불안정한 샘플을 생성하는 데서 비롯되는 한계를 극복하기 위해.
• 새로운 분수 다단계 정련된 확산 사전(FMD)을 도입함으로써 fMRI에 대한 반사적 생성의 샘플링 효율성과 품질을 향상시키기 위해.
• 확산 기반 생성과 분류기 가이던스, 시공간적 맥락을 모델링하는 트랜스포머의 조합을 통해 고특이성, 고현실성의 fMRI 분류기 설명을 가능하게 하기 위해.
• 다양한 딥러닝 아키텍처와 향후 다중모달 또는 회귀 기반 fMRI 모델에 적용 가능한 모델 무관 프레임워크를 구축하기 위해.

제안 방법

• DreaMR는 입력 fMRI 샘플에 대해 시간 단계 동안 노이즈를 점진적으로 추가하는 전방 확산 과정을 사용한다.
• 분수 다단계 정련(FMD) 확산 사전를 도입하여 확산 과정을 F개의 균일한 분수로 나누며, 각 분수에 전용 노이즈 제거 네트워크를 할당함으로써 효율적이고 고해상도의 역방향 샘플링을 가능하게 한다.
• 각 분수의 끝에서 하류 분류기의 조건부 스코어를 사용하여 분류기 가이던스를 삽입함으로써 예측된 인지 상태를 뒤집는다.
• 확산 모델에 트랜스포머 인코더를 통합하여 뇌 영역과 시간 포인트 간의 장거리 시공간적 상관관계를 포착한다.
• 원본 샘플과 생성된 샘플 간의 L2 차이를 최소화하면서도 분류기의 결정이 변화하도록 반사적 샘플을 생성한다.
• FMD 사전는 다수의 단계에서의 지식 정련을 통해 샘플링 속도를 향상시키며, 품질 손실 없이 역방향 단계 수를 줄인다.

실험 결과

연구 질문

• RQ1 확산 기반 생성 사전가 변동성 또는 적대적 사전보다 더 높은 품질과 현실성을 갖춘 반사적 fMRI 샘플을 생성할 수 있는가?
• RQ2 고차원 fMRI 데이터에 대한 확산 기반 반사적 생성에서 샘플 품질을 해치지 않으면서도 샘플링 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 트랜스포머 아키텍처의 통합이 fMRI 반사적 샘플의 장거리 시공간적 상관관계 모델링에 얼마나 기여하는가?
• RQ4 제안된 분수 다단계 정련 전략은 fMRI 반사적 생성에서 샘플링 속도와 생성 품질 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ5 이 방법은 속성 기반 또는 변형 기반 방법에 비해 fMRI 분류의 설명에서 더 뛰어난 특이성과 현실성을 달성할 수 있는가?

주요 결과

• DreaMR는 38.7 ± 1.9의 프록시미티 스코어, 10.6 ± 0.8의 특이성, 21.5 ± 0.4의 FID를 기록하여 fMRI 반사적 생성 분야에서 아웃퍼포밍된 변형 및 최신 기술을 압도했다.
• 트랜스포머 구성 요소를 제거하면 프록시미티 스코어는 47.5 ± 2.3로 상승하고 특이성은 14.0 ± 0.9로 증가하여 시공간 맥락 모델링에서의 핵심적 역할을 입증했다.
• 랭지에인 샘플링을 생략한 경우 프록시미티 스코어는 44.7 ± 2.1로 상승하고 특이성은 13.0 ± 0.8로 증가하여 확률적 샘플링이 생성 품질 향상에 기여함을 시사했다.
• 다단계 정련 전략은 성능 향상에 크게 기여하였으며, F=4 및 P=7일 때 FID가 21.5 ± 0.4로 최고 성능 기록을 보였고, 8 이상의 분수 수 증가는 성능 향상에 한계를 보였다.
• F=8 및 P=7 조건에서 FMD 사전는 FID 21.5 ± 0.4를 기록하여 분수 정련이 샘플링 효율성과 품질 향상에 기여함을 확인했다.
• 모든 메트릭에서 아웃퍼포밍된 모델 대비 DreaMR는 모든 구성 요소의 필수성을 확인하며 최적의 반사적 설명을 가능하게 했다.