[논문 리뷰] Multimodal Data Integration for Oncology in the Era of Deep Neural Networks: A Review

Asim Waqas, Aakash Tripathi외 3명|arXiv (Cornell University)|2023. 03. 11.

Computational Drug Discovery Methods인용 수 4

한 줄 요약

이 리뷰는 종양학 분야에서 다중모달 데이터 통합을 위한 최신 딥러닝 접근법—특히 그래프 신경망(GNNs)과 트랜스포머—을 종합적으로 분석하며, 유전체학, 영상의학, 병리학, 임상 기록 등의 다양한 데이터 유형을 융합하여 암 진단, 예후 예측 및 치료 개인화의 잠재력을 입증한다. 주요 기여는 현재의 방법, 과제, 향후 방향성에 대한 종합적 분석으로, 확장 가능하고 해석 가능하며 견고한 다중모달 종양학 모델을 위한 것이다.

ABSTRACT

Cancer has relational information residing at varying scales, modalities, and resolutions of the acquired data, such as radiology, pathology, genomics, proteomics, and clinical records. Integrating diverse data types can improve the accuracy and reliability of cancer diagnosis and treatment. There can be disease-related information that is too subtle for humans or existing technological tools to discern visually. Traditional methods typically focus on partial or unimodal information about biological systems at individual scales and fail to encapsulate the complete spectrum of the heterogeneous nature of data. Deep neural networks have facilitated the development of sophisticated multimodal data fusion approaches that can extract and integrate relevant information from multiple sources. Recent deep learning frameworks such as Graph Neural Networks (GNNs) and Transformers have shown remarkable success in multimodal learning. This review article provides an in-depth analysis of the state-of-the-art in GNNs and Transformers for multimodal data fusion in oncology settings, highlighting notable research studies and their findings. We also discuss the foundations of multimodal learning, inherent challenges, and opportunities for integrative learning in oncology. By examining the current state and potential future developments of multimodal data integration in oncology, we aim to demonstrate the promising role that multimodal neural networks can play in cancer prevention, early detection, and treatment through informed oncology practices in personalized settings.

연구 동기 및 목표

• 딥 뉴럴 네트워크를 활용한 다중모달 학습(MML)의 최신 동향을 분석하며, 종양학 분야에서 특히 그래프 신경망(GNNs)과 트랜스포머를 중심으로 한다.
• 유전체학, 영상의학, 병리학, 임상 기록 등 다양한 종양학 데이터 유형 간의 통합 과제를 규명한다.
• 클래스 불균형, 모달리티 콜라프스, GNN의 과도한 스무딩, 다중모달 모델의 해석 불가능성 등의 한계를 강조한다.
• 정밀 종양학을 위한 확장 가능하고 해석 가능하며 일반화 가능한 다중모달 딥러닝 프레임워크 개발을 위한 로드맵을 제안한다.
• 연구 목적을 위해 사용 가능한 공개 종양학 데이터셋을 중앙집중식으로 정리하고 주기적으로 업데이트하여 접근 가능하게 제공한다.

제안 방법

• 최근 종양학 분야에서 딥 뉴럴 네트워크를 활용한 다중모달 데이터 융합에 관한 문헌을 체계적으로 검토한다.
• 이질적인 데이터 모달을 통합하기 위한 핵심 아키텍처로 그래프 신경망(GNNs)과 트랜스포머를 집중적으로 다룬다.
• 트랜스포머의 어텐션 메커니즘과 GNN의 메시지 전달 메커니즘 등 아키텍처 구성 요소를 분석하여 다중모달 특징 학습에 기여한다.
• 데이터 증강, 정규화, 프라이버시 보호를 위한 피어드 학습 기법 등을 활용해 데이터 과제를 평가한다.
• 다중모달 환경에서 모델 결정을 해석하기 위해 GNNExplainer와 SubgraphX와 같은 해석 가능성 도구를 적용한다.
• 다중모달 표현 학습의 기준으로 CLIP, FLAVA, GPT-4와 같은 기초 모델을 활용한다.

Figure 1: Number of publications involving deep learning, graph neural networks (GNNs), GNNs in the medical domain, overall multimodal and multimodal in biomedical and clinical sciences in the period 2014-2023 [ 3 ] .

실험 결과

연구 질문

• RQ1 GNN과 트랜스포머는 유전체학, 영상의학, 임상 기록 등 다양한 종양학 데이터를 효과적으로 융합하는 데 어떻게 기여하는가?
• RQ2 클래스 불균형과 모달리티 콜라프스 등과 같은 주요 기술적·임상적 과제는 다중모달 딥러닝 모델을 종양학 분야에 구현할 때 어떤 영향을 미치는가?
• RQ3 임상 의사결정 지원을 위한 다중모달 GNN과 트랜스포머에서 해석 가능성과 신뢰성은 어떻게 향상시킬 수 있는가?
• RQ4 분산된 종양학 데이터 소스 간의 다중모달 모델 학습에 있어 피어드 학습과 프라이버시 보존 기법은 어떤 역할을 하는가?
• RQ5 확장성, 불확실성 정량화, 일반화 등 다중모달 종양학 모델의 핵심 열린 문제는 무엇인가?

주요 결과

• GNN과 트랜스포머는 유전체학, 영상의학, 임상 기록 등의 다중모달 데이터 융합을 통해 종양 분류, 예후 예측, 치료 반응 평가 등 종양학 과제에서 뛰어난 성능을 보였다.
• RadGenNets 모델은 CNN과 밀집 신경망을 활용해 PET 영상, 유전체학 데이터, 임상 기록을 성공적으로 융합하여 비소세포폐암(NSCLC)에서 유전자 돌연변이를 예측했다.
• 모달리티 콜라프스는 여전히 심각한 문제로 남아 있으며, 모델이 주로 우세한 모달리티에 의존하고 다른 모달리티를 충분히 활용하지 못함에도 불구하고, 아키텍처 수준의 노력에도 불구하고 지속된다.
• GNN의 과도한 스무딩은 깊은 아키텍처에서 성능을 저하시키며, 특히 많은 층을 거쳐 학습할 경우에 더욱 심해지지만, 스키프 커넥션과 드롭아웃 등의 기법이 이를 완화하는 데 기여한다.
• GNNExplainer와 SubgraphX와 같은 해석 가능성 도구는 다중모달 GNN과 트랜스포머 분야에서 등장하고 있으나 여전히 개발이 부족한 상태이다.
• 피어드 학습은 프라이버시를 보존하면서 분산된 종양학 데이터에서의 모델 학습을 가능하게 하여 기관 간 대규모 모델 개발을 위한 실현 가능한 길을 제시한다.

Figure 2: From population to single cell, cancer data modalities at scales.