[논문 리뷰] Pathomic Fusion: An Integrated Framework for Fusing Histopathology and Genomic Features for Cancer Diagnosis and Prognosis

Richard J. Chen, Ming Y. Lu외 5명|arXiv (Cornell University)|2019. 12. 18.

AI in cancer detection인용 수 11

한 줄 요약

Pathomic Fusion는 병리조직도 영상과 다중오미크스 데이터(돌연변이, CNV, RNA-Seq)를 융합하여 암 예후 및 진단을 향상시키기 위한 새로운 해석 가능한 다중모달 딥러닝 프레임워크를 제안한다. 각 모달리티의 표현력을 제어하기 위해 게이팅 기반 어텐션 메커니즘을 사용한 후 크로네커 곱 기반의 특징 상호작용을 수행함으로써, 단모달 네트워크보다 우수한 성능을 보이며, 영상과 세포 그래프에서의 샐런시 맵을 통해 해석 가능성을 향상시킨다. TCGA의 간뇌세포암 및 간질성 뇌종양에서 생존 예측 성능이 향상됨을 입증한다.

ABSTRACT

Cancer diagnosis, prognosis, and therapeutic response predictions are based on morphological information from histology slides and molecular profiles from genomic data. However, most deep learning-based objective outcome prediction and grading paradigms are based on histology or genomics alone and do not make use of the complementary information in an intuitive manner. In this work, we propose Pathomic Fusion, an interpretable strategy for end-to-end multimodal fusion of histology image and genomic (mutations, CNV, RNA-Seq) features for survival outcome prediction. Our approach models pairwise feature interactions across modalities by taking the Kronecker product of unimodal feature representations and controls the expressiveness of each representation via a gating-based attention mechanism. Following supervised learning, we are able to interpret and saliently localize features across each modality, and understand how feature importance shifts when conditioning on multimodal input. We validate our approach using glioma and clear cell renal cell carcinoma datasets from the Cancer Genome Atlas (TCGA), which contains paired whole-slide image, genotype, and transcriptome data with ground truth survival and histologic grade labels. In a 15-fold cross-validation, our results demonstrate that the proposed multimodal fusion paradigm improves prognostic determinations from ground truth grading and molecular subtyping, as well as unimodal deep networks trained on histology and genomic data alone. The proposed method establishes insight and theory on how to train deep networks on multimodal biomedical data in an intuitive manner, which will be useful for other problems in medicine that seek to combine heterogeneous data streams for understanding diseases and predicting response and resistance to treatment.

연구 동기 및 목표

• 암 예후 및 진단을 위한 병리조직도 영상과 다중오미크스 분자의 특징을 융합하는 해석 가능한 종단 간 프레임워크를 개발하기 위해.
• 병리조직도와 유전체학 간 상호보완적 정보를 활용하지 못하는 단모달 딥러닝 모델의 한계를 해결하기 위해.
• 어텐션 기반 설명 가능성 기반으로 영상 및 유전체 모달리티 양쪽에서 예후 특징의 주요 지역을 국소화하기 위해.
• 다중모달 입력에 조건을 두었을 때 특징 중요도가 어떻게 변화하는지 이해하여 형태학적 및 분자적 특징 간의 상호보완적 상호작용을 밝혀내기 위해.
• 온콜로지 분야에서 이질적인 생물의학 데이터 스트림을 통합하기 위한 확장 가능하고 일반화 가능한 패러다임을 제공하기 위해.

제안 방법

• 전체 슬라이드 영상에서 형태학적 특징을 추출하기 위해 컨volutional 신경망(CNNs)을, 세포 그래프에서 형태학적 특징을 추출하기 위해 그래프 컨볼루션 신경망(GCNs)을 각각 사용한다.
• 융합 이전에 단모달 특징 추출기(CNNs용 영상, SNNs용 유전체)를 별도의 감독 학습 파이프라인으로 훈련시킨다.
• 각 모달리티의 특징 표현의 표현력을 제어하기 위해 게이팅 기반 어텐션 메커니즘을 적용하여 모달리티 기여도를 동적으로 조절한다.
• 게이팅된 특징 표현 간 크로네커 곱을 통해 다중모달 융합을 수행하여 모달리티 간의 쌍방향 상호작용을 모델링한다.
• TCGA 간질성 뇌종양 및 간뇌세포암 데이터셋에서 교차검증을 통한 종단 간 훈련을 통해 최종 다중모달 네트워크를 생존 예측을 위해 훈련시킨다.
• 영상 및 세포 그래프 입력에 대해 기울기 기반 샐런시 맵(예: Grad-CAM)을 사용하여 예후 예측에 기여하는 영역과 유전자를 국소화하고 해석한다.

실험 결과

연구 질문

• RQ1 병리조직도와 다중오미크스 데이터를 융합하는 다중모달 딥러닝 프레임워크가 단모달 모델을 초월하여 생존 예측 성능을 향상시킬 수 있는가?
• RQ2 다중모달 입력에 조건을 두었을 때 특징 중요도 스코어가 어떻게 변화하는가? 이는 형태학적 및 분자적 프로파일 간의 상호보완적 상호작용에 대해 어떤 통찰을 제공하는가?
• RQ3 모델이 병리조직도 영상에서 생물학적으로 관련 있는 영역과 유전체 데이터에서 특정 유전자들을 생존 및 병리학적 등급 예측에 기여하는 요소로 국소화할 수 있는가?
• RQ4 형태학적 및 분자적 특징의 통합이 기존의 분자 하위형을 어떻게 개선하고 환자 분류를 정교화하는가?
• RQ5 어텐션 메커니즘과 크로네커 융합 전략이 단모달 분석에서는 확인할 수 없는 해석 가능하고 임상적으로 관련 있는 생물학적 마커를 제공할 수 있는가?

주요 결과

• Pathomic Fusion는 TCGA 간질성 뇌종양 및 간뇌세포암 데이터셋에서 15겹 교차검증을 통해 병리조직도나 유전체학 데이터만을 사용하는 단모달 모델보다 생존 예측 성능이 유의미하게 향상됨을 입증하였다.
• 모델은 간질성 뇌종양에서 미세혈관 증식, 종양 세포 농도, 이형성 등의 핵심 병리조직학적 특징과 올리고델로이드로마에서 '프라이드 에그 세포'를 성공적으로 국소화하여 알려진 병리조직학적 패tern과 일치한다.
• 간질성 뇌종양에서 모델은 PTEN, MYC, CDKN2A, EGFR, FGFR2와 같은 알려진 예후 관련 유전자를 높은 중요도로 식별하였으며, ANO9와 RB1는 하위형에 따라 중요도가 변화하여 알려진 종양 suppressor 및 옹성 유전자 역할과 일치한다.
• 간뇌세포암에서 모델은 위험 관련 특징으로 CYP3A7 감소와 PITX2, DDX43, XIST 발현 증가를 강조하였으며, 형태학적 특징에 조건을 두었을 때 HAGHL, MMP1, ARRP21의 중요도가 증가하였다.
• 형태학적 및 유전체적 특징의 통합은 유전자 기여도의 이동을 유도하였으며, EGFR 증폭은 IDH 와일드타입 간질성 뇌종양에서 중요도를 잃었는데, 이는 이 하위형에서 치료적 관련성이 낮다는 것을 뒷받침한다.
• 모델은 원시 병리조직도 영상에서 쉽게 식별되지 않는 세포 그래프를 통해 예후에 기여하는 생물학적으로 관련 있는 세포(예: 이형성 세포)를 드러내어 해석 가능성과 임상적 관련성을 향상시킨다.