[論文レビュー] GestaltMML: Enhancing Rare Genetic Disease Diagnosis through Multimodal Machine Learning Combining Facial Images and Clinical Texts

Wu Da, Jingye Yang+11 more|arXiv (Cornell University)|Dec 23, 2023

Genetic Syndromes and Imprinting被引用数 4

ひとこと要約

GestaltMML は、顔貌画像、人口統計データ（年齢、性別、民族的背景）、臨床ノート（HPO用語を含む）を統合するマルチモーダルなトランスフォーマー基盤モデルであり、希少遺伝疾患の診断を向上させる。画像のみのモデルを上回り、代表されない民族的背景を有する患者における診断精度の格差を低減し、マルチモーダル統合が画像のみの推論と比較して効果的であるか、あるいは不要であるかを特定する。

ABSTRACT

Individuals with suspected rare genetic disorders often undergo multiple clinical evaluations, imaging studies, laboratory tests and genetic tests, to find a possible answer over a prolonged period of time. Addressing this "diagnostic odyssey" thus has substantial clinical, psychosocial, and economic benefits. Many rare genetic diseases have distinctive facial features, which can be used by artificial intelligence algorithms to facilitate clinical diagnosis, in prioritizing candidate diseases to be further examined by lab tests or genetic assays, or in helping the phenotype-driven reinterpretation of genome/exome sequencing data. Existing methods using frontal facial photos were built on conventional Convolutional Neural Networks (CNNs), rely exclusively on facial images, and cannot capture non-facial phenotypic traits and demographic information essential for guiding accurate diagnoses. Here we introduce GestaltMML, a multimodal machine learning (MML) approach solely based on the Transformer architecture. It integrates facial images, demographic information (age, sex, ethnicity), and clinical notes (optionally, a list of Human Phenotype Ontology terms) to improve prediction accuracy. Furthermore, we also evaluated GestaltMML on a diverse range of datasets, including 528 diseases from the GestaltMatcher Database, several in-house datasets of Beckwith-Wiedemann syndrome (BWS, over-growth syndrome with distinct facial features), Sotos syndrome (overgrowth syndrome with overlapping features with BWS), NAA10-related neurodevelopmental syndrome, Cornelia de Lange syndrome (multiple malformation syndrome), and KBG syndrome (multiple malformation syndrome). Our results suggest that GestaltMML effectively incorporates multiple modalities of data, greatly narrowing candidate genetic diagnoses of rare diseases and may facilitate the reinterpretation of genome/exome sequencing data.

研究の動機と目的

• 希少遺伝疾患を有する患者が経験する長期にわたる診断の遅延を解消するため、マルチモーダルデータ統合による診断精度の向上を目的とする。
• 顔面以外の表現型特徴や診断に重要な人口統計的要因を無視する既存の画像中心のモデルの限界を克服することを目的とする。
• 顔貌画像、臨床ノート、人口統計情報を統合した、トランスフォーマー・アーキテクチャに基づく統一されたマルチモーダルフレームワークを構築することを目的とする。
• 多様な希少疾患、特に代表されない患者の民族的背景を有する疾患を対象として、モデルの性能を評価し、公平性と一般化能力を検証することを目的とする。
• マルチモーダル統合が診断性能を向上させる状況と、画像のみの推論が依然として望ましい状況を特定することを目的とする。

提案手法

• GestaltMML は、顔貌画像、人口統計的特徴（年齢、性別、民族的背景）、臨床テキスト（HPO用語を含む）からのクロスモダリティ表現を処理・注目する純粋なトランスフォーマー・アーキテクチャを採用する。
• 各モダリティを表すための学習済み埋め込みを用い、画像特徴とテキスト・人口統計埋め込み間の相互作用を可能にするクロスアテンション機構を導入する。
• 入力特徴はトークン化され、マルチヘッドアテンションおよびフィードフォワード層によるマルチモーダル表現の精練が行われる共通の潜在空間に投影される。
• GestaltMatcher データベースおよび複数の社内・公開コhortからなる、528種の希少遺伝疾患をカバーするキュレート済みデータセット上で、エンドツーエンドで微調整される。
• 表現の一致を向上させ、一般化性能を強化するため、対照的学習の目的関数がモデル学習に組み込まれる。
• 推論は、既知のすべての疾患に対する予測スコアを生成し、上位候補をさらに遺伝子検査に優先的に提示することで実施される。

実験結果

リサーチクエスチョン

• RQ1 顔貌画像、臨床ノート、人口統計データを統合するマルチモーダルなトランスフォーマー・モデルは、画像中心のモデルと比較して、希少遺伝疾患の診断精度を顕著に向上させることができるか？
• RQ2 GestaltMML は、代表されない民族的背景を有する患者集団においてどのように性能を発揮するか。また、既存の診断精度の格差を是正するか？
• RQ3 どのような臨床的状況でマルチモーダル統合が顔面画像のみに依存する手法よりも有益であるか？
• RQ4 臨床ノートに統合された HPO 用語は、臨床的に類似した希少疾患を区別する能力をモデルが向上させるか？
• RQ5 GestaltMML は、臨床的シーケンシング再解析において候補疾患リストを効果的に絞り込み、診断の遅延を短縮し、ゲノム解析データの再解釈を支援できるか？

主な発見

• GestaltMML は、最先端の画像中心のアンサンブルモデルを上回り、複数のベンチマークコhortにおいて優れた予測精度を示した。
• 代表されない民族的背景を有する患者における診断精度の格差を顕著に低減し、臨床的AIアプリケーションにおける公平性を向上させた。
• 顔面特徴が重複するが非顔面表現型が異なる疾患に対して、マルチモーダル統合が最も効果的であり、臨床ノートと人口統計が重要な判別信号を提供した。
• 顔面特徴が顕著に特徴づけられる疾患では、画像のみの推論が同等またはより優れた性能を示したため、マルチモーダル統合が常に必要というわけではないことが示された。
• GestaltMML は、臨床的シーケンシング再解析において候補疾患を効果的に優先順位付けでき、病原的バリアントの同定を加速する可能性を示した。
• Beckwith-Wiedemann 症候群、Sotos 症候群、NAA10関連疾患、Cornelia de Lange 症候群、KBG 症候群など、挑戦的な症候群においても高い性能を発揮し、多様な遺伝的状態にわたるモデルの強靭性を検証した。