[논문 리뷰] IA-GCN: Interpretable Attention based Graph Convolutional Network for Disease prediction

Anees Kazi, Soroush Farghadani외 1명|arXiv (Cornell University)|2021. 03. 29.

Machine Learning in Healthcare인용 수 6

한 줄 요약

이 논문은 질병, 연령, 성별 예측을 동시에 최적화하고 임의의 손실을 통해 잠재적 인구 수준의 그래프와 특징 수준의 주의 메커니즘을 통합함으로써 모델 성능과 임상 해석 가능성 양측을 향상시키는 새로운 그래프 컨volution 네트워크인 IA-GCN을 제안한다. IA-GCN은 Tadpole에서 3.2% 향상되고 UKBB에서 1.6–2% 향상되는 최신 기술 수준의 정확도를 달성하면서도, 알려진 생물학적 마커와 일치하는 임상적으로 의미 있는 특징 해석을 제공한다.

ABSTRACT

Interpretability in Graph Convolutional Networks (GCNs) has been explored to some extent in computer vision in general, yet, in the medical domain, it requires further examination. Moreover, most of the interpretability approaches for GCNs, especially in the medical domain, focus on interpreting the model in a post hoc fashion. In this paper, we propose an interpretable graph learning-based model which 1) interprets the clinical relevance of the input features towards the task, 2) uses the explanation to improve the model performance and, 3) learns a population level latent graph that may be used to interpret the cohort's behavior. In a clinical scenario, such a model can assist the clinical experts in better decision-making for diagnosis and treatment planning. The main novelty lies in the interpretable attention module (IAM), which directly operates on multi-modal features. Our IAM learns the attention for each feature based on the unique interpretability-specific losses. We show the application on two publicly available datasets, Tadpole and UKBB, for three tasks of disease, age, and gender prediction. Our proposed model shows superior performance with respect to compared methods with an increase in an average accuracy of 3.2% for Tadpole, 1.6% for UKBB Gender, and 2% for the UKBB Age prediction task. Further, we show exhaustive validation and clinical interpretation of our results.

연구 동기 및 목표

• 예측 성능 향상과 해석 가능성의 통합을 위해 사후 처리가 아닌 학습 과정 자체에 해석 가능성을 직접 통합하는 GCN 기반 모델을 개발하는 것.
• 환자 데이터로부터 잠재적 인구 수준의 그래프를 학습하여 코hort 수준의 관계와 패턴을 드러내는 것.
• 새로운 해석 가능성 전용 손실 함수에서 유도된 주의 가중치를 활용해 모델 성능을 향상시키는 것.
• 입력 특징에 대한 주의 가중치가 임상 지식과 실제 상관관계와 일치하도록 보장하는 것.
• 특징 선택의 해석 가능성 검증을 위해 제거 실험(ablation studies)와 임상적 상관관계 분석을 수행하는 것.

제안 방법

• 작업 손실 $L_c$ 와 해석 가능성 전용 손실 $L_{IA}$ 를 사용하는 이중 손실 목표를 갖는 해석 가능한 주의 모듈(IAM)을 도입하여 다중 모odal 임상 특징에 대한 주의 가중치를 학습한다.
• 임상적으로 관련성이 높은 특징에 주의를 기울이도록 유도하기 위해 $L_{IA}$ 와 특징 수준의 손실 $F_{MEL}$ 및 $F_{MSL}$ 을 조합한 고유한 손실 함수를 적용한다.
• 사전 정의된 그래프에 의존하지 않고 환자 간 유사성을 캐치하는 그래프 학습 모듈(GLM)을 통해 잠재적 인구 그래프를 학습한다.
• 질병/연령/성별 분류, 잠재적 그래프 구축, 해석 가능한 특징 주의를 동시에 최적화하기 위해 전체 모델을 엔드 투 엔드로 훈련한다.
• 주의 가중치를 활용해 동적 특징 선택을 수행함으로써 모델의 강건성과 성능을 향상시킨다.
• 작업 손실과 해석 가능성 손실을 균형 잡기 위해 하이퍼파rameter $\alpha$ 를 적용하였으며, 최적 성능는 $\alpha=0.6$ 에서 달성된다.

실험 결과

연구 질문

• RQ1 GCN 모델이 예측 성능, 잠재적 그래프 학습, 해석 가능한 특징 주의를 엔드 투 엔드 방식으로 동시에 최적화할 수 있는가?
• RQ2 전용 손실 함수를 통해 해석 가능성을 통합하면 모델 정확도와 특징 선택의 임상적 타당성이 향상되는가?
• RQ3 IAM이 학습한 주의 가중치는 알츠하이머 및 노화 연구에서 알려진 임상 생물학적 마커와 어떻게 상관관계를 가지는가?
• RQ4 해석 가능성 손실 $L_{IA}$ 와 잠재적 그래프 학습 모듈이 전체 모델 성능에 기여하는 정도는 어떠한가?
• RQ5 모델의 주의 메커니즘은 알츠하이머 예측에서 인지 테스트나 PET FDG와 같은 임상적으로 관련성이 높은 특징을 식별할 수 있는가?

주요 결과

• IA-GCN은 Tadpole 데이터셋에서 기준 모델 대비 알츠하이머병 예측 정확도 평균 3.2% 향상된다.
• UKBB 데이터셋에서는 성별 분류에서 1.6% 향상되고 연령 분류에서 2% 향상된다.
• 해석 가능성 전용 손실 $L_{IA}$ 는 필수적이다: $\alpha=0$ 일 때 성능이 크게 떨어지며, 이는 비관련 특징을 억제하는 데서 중요한 역할을 함을 시사한다.
• 모델의 주의 가중치는 지표 특징 중요도와 강한 상관관계(p<0.05)를 보이며, Tadpole의 인지 테스트(CDRBS, MMSE)와 UKBB 연령 예측에서 대뇌 피질 회색질 부피에 대해 특히 뚜렷하다.
• 제거 실험 결과, IAM이 선택한 특징만으로 훈련할 경우 성능이 가장 우수하며, 이들을 제외할 경우 정확도가 급격히 감소함을 확인하였다.
• GLM가 학습한 잠재적 인구 그래프에서는 클래스 내 군집화와 클래스 간 연결이 관찰되어, 모델이 코hort 수준의 구조를 잘 포착하고 있음을 뒷받침한다.