[論文レビュー] Spatially Resolved Gene Expression Prediction from H&E Histology Images via Bi-modal Contrastive Learning

Ronald Xie, Kuan Pang+5 more|arXiv (Cornell University)|Jun 2, 2023

AI in cancer detection被引用数 5

ひとこと要約

BLEEP（Bi-modal Embedding for Expression Prediction）は、対照的学習を用いて画像と遺伝子発現特徴を共通の低次元埋め込み空間に一致させることで、H&Eヒストロロジー画像から空間的解像度を持つ遺伝子発現を予測する。この手法はヒト肝臓データセットにおいて最先端の性能を達成し、従来手法と比較して真の発現との相関を39–120％向上させるとともに、生物学的ヒエラルキーを保持し、ノイズを低減した。

ABSTRACT

Histology imaging is an important tool in medical diagnosis and research, enabling the examination of tissue structure and composition at the microscopic level. Understanding the underlying molecular mechanisms of tissue architecture is critical in uncovering disease mechanisms and developing effective treatments. Gene expression profiling provides insight into the molecular processes underlying tissue architecture, but the process can be time-consuming and expensive. We present BLEEP (Bi-modaL Embedding for Expression Prediction), a bi-modal embedding framework capable of generating spatially resolved gene expression profiles of whole-slide Hematoxylin and eosin (H&E) stained histology images. BLEEP uses contrastive learning to construct a low-dimensional joint embedding space from a reference dataset using paired image and expression profiles at micrometer resolution. With this approach, the gene expression of any query image patch can be imputed using the expression profiles from the reference dataset. We demonstrate BLEEP's effectiveness in gene expression prediction by benchmarking its performance on a human liver tissue dataset captured using the 10x Visium platform, where it achieves significant improvements over existing methods. Our results demonstrate the potential of BLEEP to provide insights into the molecular mechanisms underlying tissue architecture, with important implications in diagnosis and research of various diseases. The proposed approach can significantly reduce the time and cost associated with gene expression profiling, opening up new avenues for high-throughput analysis of histology images for both research and clinical applications.

研究の動機と目的

• 空間的解像度を持つ遺伝子発現を予測する課題に取り組むこと。これは、高価な空間的トランスクリプトミクスを必要としない。
• 画像から発現への予測問題の不適切な性質を克服するため、画像と発現モダリティ間の共有表現を学習すること。
• 遺伝子発現予測における次元の呪いを軽減するため、個々の遺伝子の回帰ではなく、クエリ・リファレンス補完戦略を用いること。
• 空間的トランスクリプトミクスデータに存在する実験的アーティファクト（バッチ効果や測定ノイズなど）に対して、対照的表現学習により耐性を高めること。
• 予測された発現プロファイルにおいて、生物学的に関連する遺伝子同士の相関関係と空間的ヘテロジニアティを保持・強化すること。

提案手法

• BLEEPは、CLIPにインspiredされた対照的学習目的を用い、H&E画像パッチとその対応する空間的遺伝子発現プロファイルを共通の低次元空間に統合して埋め込む。
• フレームワークは二重ストリームエンコーダーを採用：画像特徴用（ResNetベース）と遺伝子発現特徴用（MLPベース）の両方を、共通の埋め込み空間に射影する。
• 推論時、クエリ画像パッチの発現は、共同埋め込み空間内でのリファレンスデータセット内のk個の最近傍の発現プロファイルの重み付き平均を計算することで補完される。
• 対照的損失は、ペairedなサンプルの画像と発現埋め込みを一致させる一方で、非ペアドなサンプル同士を分離させることで、モダリティ間の一致を強化する。
• 大規模なリファレンスデータセット（ペアドされたH&E画像とVisium空間的トランスクリプトミクス）を用いて、共同埋め込み空間を学習する。
• 補完プロセスにより、類似したリファレンスプロファイルの平均化が行われ、ノイズ低減と微細な生物学的信号の強化が実現され、真の発現との相関性が向上する。

Figure 1: BLEEP achieves gene expression prediction from H&E image through (a) BLEEP learns a bimodal embedding from expression profiles and H&E image patches, (b) images patch queries are projected into the joint embedding space to index the $k$ nearest reference expression profiles, and (c) the in

実験結果

リサーチクエスチョン

• RQ1 バイモーダルな対照的学習フレームワークは、H&Eヒストロジー画像と空間的遺伝子発現プロファイルの間で、共有表現を効果的に学習できるか？
• RQ2 共同埋め込み空間内でのクエリ・リファレンス補完戦略は、直接回帰に基づく遺伝子発現予測と比較して、相関性とノイズ耐性の面で優れているか？
• RQ3 BLEEPは、予測された発現プロファイルにおいて、生物学的ヘテロジニアティと遺伝子同士の相関構造をどの程度保持しているか？
• RQ4 バッチ効果や測定ノイズなどの空間的トランスクリプトミクスデータに存在する実験的アーティファクトに対して、BLEEPはどの程度耐性を示すか？
• RQ5 リファレンスベース補完によるノイズ除去によって、空間的発現データの信号対ノイズ比を向上させることができるか？

主な発見

• BLEEPはマーカー遺伝子全体で真の発現との平均相関が 0.217 ± 0.002 を達成し、2番目に優れた手法と比較して相関性が39–120％向上した。
• 予測された発現プロファイルは、微細な正のおよび負の遺伝子同士の相関関係を保持・強化し、補完によるノイズ低減によって絶対相関値が上昇した。
• BLEEPは、元のVisiumデータセットと比較して、予測された発現プロファイルの分散が低く抑えられており、測定ノイズの効果的なノイズ除去と平滑化が行われたことを示している。
• マーカー遺伝子（MG）、高発現遺伝子（HEG）、高可変性遺伝子（HVG）の全遺伝子カテゴリーで高い性能を維持し、それぞれ相関係数 r = 0.217 ± 0.002、0.175 ± 0.016、0.173 ± 0.011 を示した。
• 可視化により、肝臓組織断面全体における予測発現パターンの空間的ヘテロジニアティが明確に捉えられた。
• BLEEPの補完プロセスにより、実験的アーティファクトの影響が軽減され、より生物学的に整合性があり一貫性のある発現予測が得られた。

Figure 2: Predicted expression profiles compare with reference expression profiles normalized by gene count means (Upper) or gene count variance (Lower).