[論文レビュー] Transcriptomics-guided Slide Representation Learning in Computational Pathology

Guillaume Jaume, Lukas Oldenburg+6 more|arXiv (Cornell University)|May 19, 2024

Gene expression and cancer classificationBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

本稿では、トランスクリプトミクスデータを用いて、ヒストパスロジー・スライドと遺伝子発現プロファイル間の対照学習により、全スライド画像（WSI）の表現学習をガイドする自己教師ありマルチモーダルフレームワークTangleを提案する。8,629組のヒトおよびラット（S+E）スライド対を、肝臓、乳腺、肺組織で事前学習することで、独立したテストコhort（1,265例の乳腺、1,946例の肺、4,584例の肝臓WSI）において、教師ありおよび自己教師ありベースラインを著しく上回る、最先端の少サンプル分類およびスライド検索性能を達成した。

ABSTRACT

Self-supervised learning (SSL) has been successful in building patch embeddings of small histology images (e.g., 224x224 pixels), but scaling these models to learn slide embeddings from the entirety of giga-pixel whole-slide images (WSIs) remains challenging. Here, we leverage complementary information from gene expression profiles to guide slide representation learning using multimodal pre-training. Expression profiles constitute highly detailed molecular descriptions of a tissue that we hypothesize offer a strong task-agnostic training signal for learning slide embeddings. Our slide and expression (S+E) pre-training strategy, called Tangle, employs modality-specific encoders, the outputs of which are aligned via contrastive learning. Tangle was pre-trained on samples from three different organs: liver (n=6,597 S+E pairs), breast (n=1,020), and lung (n=1,012) from two different species (Homo sapiens and Rattus norvegicus). Across three independent test datasets consisting of 1,265 breast WSIs, 1,946 lung WSIs, and 4,584 liver WSIs, Tangle shows significantly better few-shot performance compared to supervised and SSL baselines. When assessed using prototype-based classification and slide retrieval, Tangle also shows a substantial performance improvement over all baselines. Code available at https://github.com/mahmoodlab/TANGLE.

研究の動機と目的

• 高価な病理医によるアノテーションに依存せずに、ギガピクセル級の全スライド画像（WSI）から強固で一般化可能なスライド埋め込み表現を学習する課題に対処すること。
• 遺伝子発現プロファイル—高分解能の分子的文脈を提供する—が、タスクに依存しない強力な監視信号として、スライド表現学習に役立つかどうかを検討すること。
• 視覚的スライド特徴量と分子発現埋め込みを対応付けるマルチモーダル対照学習フレームワークを構築し、多様な組織および種にわたる一般化を向上させること。
• 提案手法の下流タスク、例えば少サンプル分類、プロトタイプベース分類、スライド検索の性能を、独立したテストデータセット上で評価すること。
• アテンション可視化および埋め込み空間のランク解析を通じて、学習された表現の解釈可能性と質を分析すること。

提案手法

• Tangleは、スライドパッチ用のビジョントランスフォーマと、遺伝子発現プロファイル用のフィードフォワードネットワークという、モality別エンコーダーを採用する。
• フレームワークは対称的対照学習を用い、共有された潜在空間内でスライドと発現埋め込みの類似性を最大化することで、両者の特徴を一致させる。
• 事前学習は、ヒトおよびラット組織の肝臓、乳腺、肺をカバーするThe Cancer Genome Atlas（TCGA）およびTG-GATEsからの8,629組（S+E）対を対象とする。
• モデルは、各クラスごとに少数のラベル付きサンプルのみを用いて線形プローブによる微調整を実施し、少サンプル学習を可能にする。
• アブレーションスタディでは、対称的対照損失、L1およびL2目的関数、および平均パッチビューとランダムパッチビューの使用が、それぞれの損失成分の寄与を評価する。
• 局所的・グローバルな対照と局所的・局所的対照のハイブリッド対照目的を組み合わせることで、特徴のロバスト性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 トランスクリプトミクスデータは、自己教師あり全スライド画像表現学習のための強力で、タスクに依存しない監視信号として機能できるか？
• RQ2 ヒストパスロジー・スライドと遺伝子発現プロファイルの間のマルチモーダル対照学習は、純粋に視覚的なSSLや教師ありベースラインと比較して、どのように少サンプル分類およびスライド検索性能を向上させるか？
• RQ3 Tangleで学習された表現は、腫瘍など臨床的に関連する領域に注目するアテンションが自然に集中するなど、明示的な訓練なしに解釈可能であるとされる程度はどの程度か？
• RQ4 対照損失の異なる成分やハイパーパrameter（例：バッチサイズ、温度、パッチ数）が、下流性能に与える影響は何か？
• RQ5 スムーズランクで測定される、学習されたスライド埋め込み空間の内部次元数と、下流分類精度の相関関係は何か？

主な発見

• Tangleは、3つの独立したテストデータセット（1,265例の乳腺WSI、1,946例の肺WSI、4,584例の肝臓WSI）において、教師あり（ABMIL）および自己教師あり（Intra）ベースラインを著しく上回る、顕著な少サンプル分類性能を達成した。
• TG-GATEsラット肝臓病変分類タスクにおいて、TangleはAUC 0.92を達成し、次に良いベースラインより7.0ポイント高い性能を示した。
• Tangleにおける対称的対照損失は一貫した性能向上をもたらしたが、L1およびL2損失はそれぞれAUCが6.7%および7.0%低下した。
• Tangleの目的関数にスライド内対照損失（例：平均またはランダムビューとの対照）を組み合わせると、AUCが-2.0%低下した。これは、(S+E)信号が十分であり、補完的であることを示している。
• アテンションヒートマップでは、Tangleの固定されたABMILエンコーダーが、乳腺および肺WSIの両方で自然に腫瘍領域に注目していることが示され、明示的な腫瘍関連の監視なしに生物学的関連性が顕在化していることを示している。
• スライド埋め込み行列のスムーズランクと下流分類性能との間に強い正の相関が観察された。これは、Tangleが高次元で情報豊富な潜在空間を学習していることを示している。