[論文レビュー] ST-Align: A Multimodal Foundation Model for Image-Gene Alignment in Spatial Transcriptomics

Yuxiang Lin, Ling Luo+6 more|arXiv (Cornell University)|Nov 25, 2024

Single-cell and spatial transcriptomicsBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

ST-Align は、3つのターゲットを用いたアライメント戦略により、複数の空間スケールで病理画像と遺伝子発現データをアライメントする、空間トランスクリプトミクスにおける最初のマルチモodalベースモデルである。専用エンコーダー、アテンションベースのファージョンネットワーク（ABFN）、スポットとニッチ間の対照的学習を統合することで、6つのデータセットにおいて空間クラスタリングおよび遺伝子予測のゼロショットおよびフェイントショット性能が最先端水準に達した。

ABSTRACT

Spatial transcriptomics (ST) provides high-resolution pathological images and whole-transcriptomic expression profiles at individual spots across whole-slide scales. This setting makes it an ideal data source to develop multimodal foundation models. Although recent studies attempted to fine-tune visual encoders with trainable gene encoders based on spot-level, the absence of a wider slide perspective and spatial intrinsic relationships limits their ability to capture ST-specific insights effectively. Here, we introduce ST-Align, the first foundation model designed for ST that deeply aligns image-gene pairs by incorporating spatial context, effectively bridging pathological imaging with genomic features. We design a novel pretraining framework with a three-target alignment strategy for ST-Align, enabling (1) multi-scale alignment across image-gene pairs, capturing both spot- and niche-level contexts for a comprehensive perspective, and (2) cross-level alignment of multimodal insights, connecting localized cellular characteristics and broader tissue architecture. Additionally, ST-Align employs specialized encoders tailored to distinct ST contexts, followed by an Attention-Based Fusion Network (ABFN) for enhanced multimodal fusion, effectively merging domain-shared knowledge with ST-specific insights from both pathological and genomic data. We pre-trained ST-Align on 1.3 million spot-niche pairs and evaluated its performance through two downstream tasks across six datasets, demonstrating superior zero-shot and few-shot capabilities. ST-Align highlights the potential for reducing the cost of ST and providing valuable insights into the distinction of critical compositions within human tissue.

研究の動機と目的

• 既存のモデルが空間トランスクリプトミクス（ST）データにおける空間的文脈および内在的関係を捉える能力に制限を受けることに対処すること。
• スポットおよびニッチレベルでの高分解能ヒストパスロジカル画像と全トランスクリプトームの遺伝子発現プロファイルの間のギャップを埋めること。
• マルチモーダル事前学習を活用することで、最小限のファインチューニングで多様なSTデータセットに一般化可能なベースモデルを開発すること。
• 強化されたマルチモーダル統合および空間的認識を通じて、空間ドメイン同定および遺伝子発現予測の精度を向上させること。
• ゼロショットおよびフェイントショットの転移学習能力を活用することで、空間トランスクリプトミクスのコストと複雑さを低減すること。

提案手法

• 3ターゲットアライメント戦略を提案：（1）スポットレベルの画像-遺伝子アライメント、（2）ニッチレベルの画像-遺伝子アライメント、（3）マルチモーダル特徴のクロスレベル統合。
• 分野特化型エンコーダーを採用：画像にはビジョントランスフォーマー、遺伝子配列には変更を加えたトランスフォーマーを用い、異なるスケールでのドメイン固有特徴を捉える。
• アテンションベースのファージョンネットワーク（ABFN）を導入し、視覚的および遺伝的埋め込みを動的に統合することで、共有知識およびST固有の知識を統合する。
• スポットとその周囲の空間的ニッチをアライメントするためのスポット-ニッチ対照的損失（$\mathcal{L}_{NS}$）を活用し、空間的文脈モデリングを強化する。
• 573枚のヒト組織スライスから得た130万のスポット-ニッチペアを用いてST-Alignを事前学習する。対象には正常、疾患、がん組織を含む。
• 対照的学習とマスクドオートエンコーダーを組み合わせたマルチステージ事前学習フレームワークを採用し、特徴表現力および耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ベースモデルが、空間トランスクリプトミクスにおける複数の空間スケールで画像と遺伝子モダリティを効果的にアライメントできるか？
• RQ2 ニッチレベルの空間的文脈を組み込むことで、画像-遺伝子アライメントモデルの性能がどのように向上するか？
• RQ3 アテンションベースのファージョンネットワーク（ABFN）は、単純な連結処理と比較して、マルチモーダル特徴統合をどの程度向上させるか？
• RQ4 ST-Alignは、空間クラスタリングや遺伝子予測といった下流タスクにおいて、ゼロショットおよびフェイントショット設定でどの程度の性能を示すか？
• RQ5 スポット-ニッチ対照的学習目的は、STデータにおける空間的関係モデリングにどの程度寄与するか？

主な発見

• ST-Alignは、他のマルチモーダルモデルと比較して、非ラミナリス遺伝子の予測で+23.74%の向上を達成し、構造特異的でない遺伝子予測における有効性を示した。
• ゼロショット空間クラスタリングにおいて、ST-AlignはCLIPやPLIPを上回り、ヒト脳組織スライスの層L1とL2の微細な構造的差異を正確に区別できた。
• アブレーションスタディの結果、自己符号化器（AEs）とABFNを削除すると、2つの下流タスクでそれぞれ8.06%および6.61%の性能低下が生じ、これらが特徴統合における重要な役割を果たしていることを裏付けた。
• スポット-ニッチ対照的損失（$\mathcal{L}_{NS}$）を組み込むことで、空間クラスタリングの性能が17.76%向上し、空間階層のモデリングにおけるその価値を示した。
• ベースラインのマルチモーダルモデルと比較して、ST-Alignは非ラミナリス遺伝子予測で+6.97%の向上を達成し、遺伝的特徴の共同事前学習の利点を示した。
• 可視化結果から、ゼロショット設定においてCLIPやPLIPと比較して、ST-Alignが白質と層L6の境界をより明確に区別していることが確認された。