[논문 리뷰] GestaltMML: Enhancing Rare Genetic Disease Diagnosis through Multimodal Machine Learning Combining Facial Images and Clinical Texts

Wu Da, Jingye Yang외 11명|arXiv (Cornell University)|2023. 12. 23.

Genetic Syndromes and Imprinting인용 수 4

한 줄 요약

GestaltMML은 얼굴 영상, 인구통계학적 자료(나이, 성별, 민족), 임상 노트(HPO 용어 포함)를 통합하는 다중모달 Transformer 기반 모델로, 희귀 유전성 질환 진단을 향상시킨다. 이 모델은 영상 전용 모델보다 뛰어난 성능을 보이며, 저소수의 유전적 배경을 가진 환자에서의 진단 정확도 격차를 줄이고, 다중모달 융합이 영상 전용 추론보다 유익한지 여부를 식별한다.

ABSTRACT

Individuals with suspected rare genetic disorders often undergo multiple clinical evaluations, imaging studies, laboratory tests and genetic tests, to find a possible answer over a prolonged period of time. Addressing this "diagnostic odyssey" thus has substantial clinical, psychosocial, and economic benefits. Many rare genetic diseases have distinctive facial features, which can be used by artificial intelligence algorithms to facilitate clinical diagnosis, in prioritizing candidate diseases to be further examined by lab tests or genetic assays, or in helping the phenotype-driven reinterpretation of genome/exome sequencing data. Existing methods using frontal facial photos were built on conventional Convolutional Neural Networks (CNNs), rely exclusively on facial images, and cannot capture non-facial phenotypic traits and demographic information essential for guiding accurate diagnoses. Here we introduce GestaltMML, a multimodal machine learning (MML) approach solely based on the Transformer architecture. It integrates facial images, demographic information (age, sex, ethnicity), and clinical notes (optionally, a list of Human Phenotype Ontology terms) to improve prediction accuracy. Furthermore, we also evaluated GestaltMML on a diverse range of datasets, including 528 diseases from the GestaltMatcher Database, several in-house datasets of Beckwith-Wiedemann syndrome (BWS, over-growth syndrome with distinct facial features), Sotos syndrome (overgrowth syndrome with overlapping features with BWS), NAA10-related neurodevelopmental syndrome, Cornelia de Lange syndrome (multiple malformation syndrome), and KBG syndrome (multiple malformation syndrome). Our results suggest that GestaltMML effectively incorporates multiple modalities of data, greatly narrowing candidate genetic diagnoses of rare diseases and may facilitate the reinterpretation of genome/exome sequencing data.

연구 동기 및 목표

• 희귀 유전성 질환 환자들이 겪는 장기적인 진단 지연 문제를 다중모달 데이터 통합을 통해 진단 정확도를 향상시켜 해결하고자 한다.
• 기존 영상 전용 모델의 한계를 극복하고, 정확한 진단에 필수적인 비얼굴 유전자 특징 및 인구통계학적 요소를 간과하는 문제를 해결하고자 한다.
• 얼굴 영상, 임상 노트, 인구통계학적 정보를 활용하여 다중모달 통합 기반의 유일한 Transformer 아키텍처 기반 프레임워크를 개발하고자 한다.
• 다양한 희귀 질환, 특히 저소수의 유전적 배경을 가진 환자들을 포함하여 모델의 성능을 평가하여 공정성과 일반화 능력을 점검하고자 한다.
• 다중모달 융합이 진단 성능을 향상시키는 경우와 영상 전용 추론이 더 바람직한 경우를 식별하고자 한다.

제안 방법

• GestaltMML은 얼굴 영상, 인구통계학적 특징(나이, 성별, 민족), 임상 텍스트(HPO 용어 포함)의 교차 모odal 표현을 처리하고 주목하는 순수한 Transformer 아키텍처를 사용한다.
• 각 모달리티를 표현하기 위해 학습된 임bedding을 사용한 후, 영상 특징과 텍스트/인구통계학적 임베딩 간의 상호작용을 가능하게 하는 교차 어텐션 메커니즘을 적용한다.
• 입력 특징는 토큰화되어 공유된 잠재 공간으로 투영되며, 여기서 다중헤드 어텐션과 피드포워드 레이어를 통해 다중모달 표현이 정제된다.
• 모델는 GestaltMatcher 데이터베이스 및 여러 내부 및 공개된 코hort에서 구성된 528종의 희귀 유전성 질환 코호트에 대해 엔드 투 엔드로 미세조정된다.
• 모델 훈련은 모달 간 표현 정렬을 향상시키고 일반화 능력을 강화하기 위해 대비 학습 목표를 포함한다.
• 추론은 모든 알려진 질환에 대해 질환 예측 점수를 생성하고, 상위 후보자들을 추가 유전자 검사에 우선시함으로써 수행된다.

실험 결과

연구 질문

• RQ1 얼굴 영상, 임상 노트, 인구통계학적 자료를 융합하는 다중모달 Transformer 모델이 영상 전용 모델에 비해 희귀 유전성 질환의 진단 정확도를 크게 향상시킬 수 있는가?
• RQ2 GestaltMML은 저소수의 유전적 배경을 가진 환자 집단에서 어떻게 성능을 발휘하며, 기존의 진단 정확도 격차를 줄이는가?
• RQ3 어떤 임상 상황에서 다중모달 융합이 얼굴 영상에만 의존하는 것보다 더 유익한가?
• RQ4 임상 노트에 포함된 HPO 용어의 통합이 유사한 유전자 특징을 보이는 희귀 질환을 구분하는 데 모델의 능력을 향상시키는가?
• RQ5 GestaltMML은 임상 유전자 시퀀싱 재분석에서 후보 질환 목록을 효과적으로 좁혀 진단의 오랜 기간을 단축시키고, 유전자 데이터 재해석을 지원할 수 있는가?

주요 결과

• GestaltMML은 최신 기술의 영상 전용 앙상블 모델보다 희귀 유전성 질환의 진단에서 뛰어난 예측 정확도를 보이며, 여러 벤치마크 코호트에서 뛰어난 성능을 입증한다.
• 저소수의 유전적 배경을 가진 환자에서의 진단 정확도 격차를 크게 줄여, 임상 AI 응용에서의 공정성을 향상시킨다.
• 얼굴 특징가 유사하지만 비얼굴 유전자 특징이 다를 경우, 다중모달 융합이 가장 유익하며, 이 경우 임상 노트와 인구통계학적 정보가 중요한 분류 신호를 제공한다.
• 매우 특징적인 얼굴 특징을 가진 질환의 경우, 영상 전용 추론이 유사하거나 더 우수한 성능을 보이며, 이는 다중모달 융합이 항상 필요하지 않음을 시사한다.
• GestaltMML은 임상 유전자 시퀀싱 재분석에서 후보 질환을 효과적으로 우선순위 정렬하여, 병변 유전자 식별을 가속화할 수 있다.
• Beckwith-Wiedemann, Sotos, NAA10 관련, Cornelia de Lange, KBG 증후군과 같은 도전적인 증후군에서 높은 성능를 달성하여, 다양한 유전 조건에서의 강건성을 입증한다.