[论文解读] GestaltMML: Enhancing Rare Genetic Disease Diagnosis through Multimodal Machine Learning Combining Facial Images and Clinical Texts

Wu Da, Jingye Yang+11 more|arXiv (Cornell University)|Dec 23, 2023

Genetic Syndromes and Imprinting被引用 4

一句话总结

GestaltMML 是一种基于 Transformer 的多模态模型，通过整合面部图像、人口统计学数据（年龄、性别、种族）和临床笔记（包括 HPO 术语），以提升罕见遗传病的诊断。该模型在仅使用图像的模型之上表现更优，减少了对代表性不足种族群体的诊断准确率差异，并能识别在何种情况下多模态融合可提升性能或在仅使用图像推理时已足够。

ABSTRACT

Individuals with suspected rare genetic disorders often undergo multiple clinical evaluations, imaging studies, laboratory tests and genetic tests, to find a possible answer over a prolonged period of time. Addressing this "diagnostic odyssey" thus has substantial clinical, psychosocial, and economic benefits. Many rare genetic diseases have distinctive facial features, which can be used by artificial intelligence algorithms to facilitate clinical diagnosis, in prioritizing candidate diseases to be further examined by lab tests or genetic assays, or in helping the phenotype-driven reinterpretation of genome/exome sequencing data. Existing methods using frontal facial photos were built on conventional Convolutional Neural Networks (CNNs), rely exclusively on facial images, and cannot capture non-facial phenotypic traits and demographic information essential for guiding accurate diagnoses. Here we introduce GestaltMML, a multimodal machine learning (MML) approach solely based on the Transformer architecture. It integrates facial images, demographic information (age, sex, ethnicity), and clinical notes (optionally, a list of Human Phenotype Ontology terms) to improve prediction accuracy. Furthermore, we also evaluated GestaltMML on a diverse range of datasets, including 528 diseases from the GestaltMatcher Database, several in-house datasets of Beckwith-Wiedemann syndrome (BWS, over-growth syndrome with distinct facial features), Sotos syndrome (overgrowth syndrome with overlapping features with BWS), NAA10-related neurodevelopmental syndrome, Cornelia de Lange syndrome (multiple malformation syndrome), and KBG syndrome (multiple malformation syndrome). Our results suggest that GestaltMML effectively incorporates multiple modalities of data, greatly narrowing candidate genetic diagnoses of rare diseases and may facilitate the reinterpretation of genome/exome sequencing data.

研究动机与目标

• 通过多模态数据融合提升诊断准确性，以应对罕见遗传病患者面临的长期诊断延迟。
• 克服现有仅使用图像的模型的局限性，这些模型忽略了对准确诊断至关重要的非面部表型特征和人口统计因素。
• 开发一种基于 Transformer 架构的统一多模态框架，利用面部图像、临床笔记和人口统计信息以改善基于表型的诊断。
• 在涵盖多种罕见疾病（包括代表性不足患者种族）的群体中评估模型性能，以评估其公平性和泛化能力。
• 确定在何种情况下多模态融合可提升诊断性能，以及在何种情况下仅使用图像的推理更为可取。

提出的方法

• GestaltMML 采用纯 Transformer 架构，处理并关注来自面部图像、人口统计特征（年龄、性别、种族）和临床文本（包括 HPO 术语）的跨模态表征。
• 模型使用学习得到的嵌入表示每一模态，随后通过交叉注意力机制实现图像特征与文本/人口统计嵌入之间的交互。
• 输入特征被分词并投影到共享潜在空间，在该空间中通过多头注意力和前馈网络层对多模态表征进行优化。
• 模型在来自 GestaltMatcher 数据库及多个内部和已发表队列的 528 种罕见遗传病的精选数据集上进行端到端微调。
• 模型训练中引入对比学习目标，以改善模态间表征对齐并增强泛化能力。
• 推理通过生成所有已知疾病的预测得分完成，将得分最高的候选疾病优先用于进一步的基因检测。

实验结果

研究问题

• RQ1 与仅使用图像的模型相比，结合面部图像、临床笔记和人口统计数据的多模态 Transformer 模型是否能显著提升罕见遗传病的诊断准确率？
• RQ2 GestaltMML 在代表性不足种族患者群体中的表现如何？是否减少了现有的诊断准确率差异？
• RQ3 在哪些临床场景中，多模态融合比仅依赖面部图像更具优势？
• RQ4 临床笔记中整合 HPO 术语是否增强了模型区分表型相似的罕见病的能力？
• RQ5 GestaltMML 是否能有效缩小候选疾病列表，从而加速诊断延迟，并支持基因组测序数据的重新解释？

主要发现

• GestaltMML 在诊断罕见遗传病方面优于最先进的仅使用图像的集成模型，在多个基准队列中均展现出更高的预测准确率。
• 该模型显著减少了代表性不足种族患者群体的诊断准确率差距，提升了临床人工智能应用的公平性。
• 对于面部特征重叠但非面部表型不同的疾病，多模态融合最为有益，此时临床笔记和人口统计信息提供了关键的区分信号。
• 对于面部特征高度独特的疾病，仅使用图像的推理表现相当或更优，表明多模态融合并非在所有情况下都必要。
• GestaltMML 在临床基因组测序重新分析中成功优先筛选候选疾病，可能加速致病变异的识别。
• 该模型在贝克威德曼、索托斯、NAA10 相关、科恩利亚·德·朗格和 KBG 综合征等具有挑战性的综合征中表现优异，验证了其在多种遗传疾病中的鲁棒性。