[논문 리뷰] Interpretable multimodal fusion networks reveal mechanisms of brain cognition
이 논문은 뇌 질환 분류와 생물학적 기제 해석을 동시에 수행할 수 있도록 기울기 기반의 클래스 특이적 활성화 맵과 공동 학습을 결합한 해석 가능한 다중모달 융합 모델인 gCAM-CCL을 제안한다. 이 방법은 인지 성능과 관련된 핵심 뇌 영역과 유전자 마커를 특정하며, 높은 WRAT 성취도를 보인 개인은 강화된 신경전달물질 전달 신호를, 낮은 성취도를 보인 개인은 유전적 변이로 인한 발달 결핍을 보이는 것으로 드러낸다.
Multimodal fusion benefits disease diagnosis by providing a more comprehensive perspective. Developing algorithms is challenging due to data heterogeneity and the complex within- and between-modality associations. Deep-network-based data-fusion models have been developed to capture the complex associations and the performance in diagnosis has been improved accordingly. Moving beyond diagnosis prediction, evaluation of disease mechanisms is critically important for biomedical research. Deep-network-based data-fusion models, however, are difficult to interpret, bringing about difficulties for studying biological mechanisms. In this work, we develop an interpretable multimodal fusion model, namely gCAM-CCL, which can perform automated diagnosis and result interpretation simultaneously. The gCAM-CCL model can generate interpretable activation maps, which quantify pixel-level contributions of the input features. This is achieved by combining intermediate feature maps using gradient-based weights. Moreover, the estimated activation maps are class-specific, and the captured cross-data associations are interest/label related, which further facilitates class-specific analysis and biological mechanism analysis. We validate the gCAM-CCL model on a brain imaging-genetic study, and show gCAM-CCL's performed well for both classification and mechanism analysis. Mechanism analysis suggests that during task-fMRI scans, several object recognition related regions of interests (ROIs) are first activated and then several downstream encoding ROIs get involved. Results also suggest that the higher cognition performing group may have stronger neurotransmission signaling while the lower cognition performing group may have problem in brain/neuron development, resulting from genetic variations.
연구 동기 및 목표
- 뇌 질환 진단에 사용되는 딥 뉴럴 네트워크 기반의 다중모달 융합 모델에서의 해석 가능성 부족 문제를 해결하기 위해.
- 클래스 특이적 픽셀 수준의 활성화 맵을 생성하여 정확한 진단과 생물학적 기제 분석을 동시에 가능하게 하는 방법을 개발하기 위해.
- 다중모달 영상 및 유전체 데이터를 활용하여 인지 성능과 관련된 뇌 기능적 연결성 패턴과 유전자 변이를 규명하기 위해.
- 해석 가능한 딥 러닝을 통해 인지 능력 차이의 신경생물학적 기제를 밝혀내기 위해.
- 읽기 능력(WRAT) 분류를 위한 실제 영상-유전체 연구에서 모델을 검증하기 위해.
제안 방법
- gCAM-CCL은 기울기 기반의 클래스 활성화 맵(Grad-CAM)과 공동 학습 레이어를 융합하여 다중모달 입력(예: fMRI 및 유전체 데이터)에서 클래스 특이적 픽셀 수준의 활성화 맵을 생성한다.
- 모델은 특징 맵을 통해 기울기 역전파를 수행하여 중요도 가중치를 계산하고, 이를 전역 평균화하여 해석 가능한 활성화 맵을 생성한다.
- 공동 학습 레이어를 도입하여 캡처된 다중 데이터 간 연관성이 목표 특성(예: 높은 vs. 낮은 WRAT 성취도)과 관련이 있도록 하여 해석 가능성 향상.
- 주의 메커니즘 유사 가중치를 갖는 딥 뉴럴 네트워크 아키텍처를 통해 기능적 MRI에서 유도된 뇌 기능적 연결성(FC) 행렬과 단일 염기 다형성(SNP) 데이터를 융합한다.
- 클래스 특이적 활성화 맵을 사용하여 주요 뇌 영역과 ROI-ROI 연결성을 특정함으로써 질병 또는 특성 관련 신경 회로의 시각화를 가능하게 한다.
- 모델이 특정한 SNP를 식별한 후, ConsensusPathDB-human 데이터베이스를 활용하여 유전자 부 enrichment 분석을 수행하여 유전자 마커와 생물학적 경로를 연결한다.
실험 결과
연구 질문
- RQ1읽기 작업에서 높은 대비 낮은 인지 성능을 보이는 데 가장 예측 가능한 뇌 영역과 기능적 연결성 패턴은 무엇인가?
- RQ2딥 러닝 기반의 다중모달 융합 모델을 어떻게 해석 가능하게 만들 수 있을까? 이는 진단 정확도를 넘어서 생물학적으로 의미 있는 기제를 드러내기 위함이다.
- RQ3해석 가능한 융합 모델을 통해 드러나는 인지 성능의 차이와 관련된 유전자 변이와 생물학적 경로는 무엇인가?
- RQ4식별된 기능적 연결성 패턴과 유전자 마커는 알려진 인지와 관련된 신경생물학적 과정과 일치하는가?
- RQ5영상 및 유전체 데이터를 기반으로 하여 높은 성취도와 낮은 성취도 그룹을 식별하면서도, 그 기반 기제에 대한 해석 가능한 통찰을 제공할 수 있는가?
주요 결과
- 높은 WRAT 성취도 그룹은 물체 및 시각적 단어 인식에 기여하는 주요 영역인 후두엽의 릉상, 중간, 하부 후두엽 회전에 강력한 기능적 연결성이 관찰되었다.
- 초기 시각 처리 이후, 쿠네우스 및 페리해마 주위 회전 등의 후행 영역이 활성화되어 작업 중 순차적 처리 연쇄가 발생하는 것으로 나타났다.
- 낮은 WRAT 성취도 그룹은 주요 허브 ROI가 없었지만, 시간-측도 영역 및 시상체 회전 등 작업 부정 영역에서 활성도가 증가하여 인지 처리 네트워크의 약한 활성화를 시사했다.
- 유전자 부 enrichment 분석 결과, 높은 WRAT 성취도 그룹의 SNP는 시냅스 신호 전달 및 신경전달물질 농도 조절과 관련된 신경전달물질 경로와 유의미하게 연관되어 있었다.
- 반대로, 낮은 WRAT 성취도 그룹의 SNP는 중뇌 발달 및 성장 원추 유도와 같은 뇌 발달 경로에서 높은 enrichments를 보였으며, 뇌 성숙의 잠재적 결함을 시사했다.
- 모델은 낮은 WRAT 개인을 분류할 때 민감도보다 특이도가 더 높게 나타나, 낮은 그룹의 기능적 연결성 패턴이 덜 구분 가능하고 잡음이 더 많을 가능성이 있음을 시사했다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.