[논문 리뷰] Multi-modal Graph Fusion for Inductive Disease Classification in Incomplete Datasets

Gerome Vivar, Hendrik Burwinkel외 4명|arXiv (Cornell University)|2019. 05. 08.

AI in cancer detection참고 문헌 3인용 수 4

한 줄 요약

이 논문은 블록 단위로 손실된 모odalities를 가진 불완전한 의료 데이터셋에서 유도적이고 노드 수준의 질병 분류를 가능하게 하는 다중 모odal 그래프 융합 프레임워크를 제안한다. MRI, PET, CSF 데이터에 대해 별도의 GAT 브랜치를 학습하고 그 표현을 순차적으로 융합함으로써, 단일 그래프 기반 모델 및 평균 치환 방법보다 뛰어난 성능을 달성하며, 특히 50%의 높은 손실률에서도 강건성과 일반화 능력을 입증한다.

ABSTRACT

Clinical diagnostic decision making and population-based studies often rely on multi-modal data which is noisy and incomplete. Recently, several works proposed geometric deep learning approaches to solve disease classification, by modeling patients as nodes in a graph, along with graph signal processing of multi-modal features. Many of these approaches are limited by assuming modality- and feature-completeness, and by transductive inference, which requires re-training of the entire model for each new test sample. In this work, we propose a novel inductive graph-based approach that can generalize to out-of-sample patients, despite missing features from entire modalities per patient. We propose multi-modal graph fusion which is trained end-to-end towards node-level classification. We demonstrate the fundamental working principle of this method on a simplified MNIST toy dataset. In experiments on medical data, our method outperforms single static graph approach in multi-modal disease classification.

연구 동기 및 목표

• 임상 의사결정 지원 시스템에서 다중 모달, 불완전한 의료 데이터의 과제를 해결하기 위해.
• 전체 모달리티(예: MRI 또는 PET 스캔 없음)가 손실된 상황에서도 유도적이고 샘플 외 질병 분류를 가능하게 하기 위해.
• 그래프 초기화에 민감한 단일 그래프 GNN에 비해 일반화 능력과 강건성을 향상시키기 위해.
• 어떤 모달리티가 손실된 경우에도 다중 모달리티 간의 정보를 활용하는 종단간 훈련 가능한 융합 메커니즘을 개발하기 위해.
• 통제된 손실률 하에서 실제 의료 데이터(TADPOLE)와 수정된 MNIST 데이터셋을 활용해 방법을 평가하기 위해.

제안 방법

• 모델은 각각 하나의 모달리티(MRI, PET, CSF 등)를 독립적으로 처리하는 다수의 GAT 브랜치를 활용하여, 모달리티별 표현 학습을 가능하게 한다.
• 각 모달리티는 다중 헤드 어텐션을 갖춘 GAT를 통해 처리되며, 특징 유사도에 기반해 이웃 노드에 대한 동적 가중치를 부여한다.
• 후기 융합 전략은 개별 GAT 브랜치의 출력을 요소별 평균 또는 연결 후 최종 분류기로 결합한다.
• 노드 수준의 교차 엔트로피 손실을 사용해 종단간 훈련을 수행함으로써, 훈련 과정에서 볼 수 없었던 환자에 대해서도 유도적 추론이 가능하다.
• 환자 간 유사도를 특징 공간에서 캡처하기 위해 k-최근접 이웃(노드-그래프) 또는 상호정보량(MI-그래프)을 사용해 그래프를 초기화한다.
• 블록 단위의 손실을 지원하며, 환자당 전체 모달리티가 누락되어도 보간이 필요 없이 처리 가능하다.

실험 결과

연구 질문

• RQ1 블록 단위로 손실된 데이터에서 단일 그래프 GNN에 비해 다중 모달 그래프 융합 프레임워크가 더 높은 성능을 달성할 수 있는가?
• RQ2 다양한 수준의 모달리티 손실률(예: 10%, 50%)에서 제안된 방법이 표준 기계학습 및 GNN 기준 모델에 비해 어떻게 성능을 내는가?
• RQ3 다중 GAT 브랜치의 종단간 훈련이 단일 고정 그래프에 비해 그래프 초기화에 대한 강건성을 향상시키는가?
• RQ4 훈련 과정에서 볼 수 없었던 샘플 외 환자에 대해서도 모델이 일반화 가능한가, 특히 전체 모달리티가 누락된 경우에도?
• RQ5 실제 임상 데이터셋에서 다중 모달리티 특화 그래프의 융합이 평균 치환 전략을 능가하는가?

주요 결과

• TADPOLE 데이터셋에서 제안된 GAT-Fusion 방법은 72.07%의 정확도를 달성하였으며, 평균 치환을 적용한 단일 그래프 GAT(GAT-Imp)보다 10%에서 24% 높은 성능을 보였다.
• 수정된 MNIST 데이터셋에서 50% 블록 단위 손실률을 적용했을 때, GAT-Fusion 접근법은 90.26%의 정확도를 기록하였으며, 랜덤 포레스트(92.37%)보다 40% 및 50% 손실률에서만 앞서는 성능을 보였다.
• GAT-Fusion 모델은 그래프 초기화에 대한 강건성이 향상되었으며, 단일로 선택된 잠재적으로 열악한 그래프 구조에 의존하지 않았다.
• TADPOLE에서 가장 뛰어난 성능을 보인 GAT-Fusion 변종(GAT1 with MI-Graph)은 AUC 0.569를 기록하여 다른 GAT 및 기준 모델보다 뛰어났다.
• 모델은 훈련 그래프에 포함되지 않은 환자에 대해서도 유도적 추론을 성공적으로 수행하였으며, 이는 전도적 방법에 비해 핵심적인 이점이다.
• 결과는 실제 불완전한 의료 데이터를 다룰 때 다중 그래프 융합이 단일 그래프 또는 평균 치환 기반 기준 모델보다 더 효과적임을 확인한다.