[論文レビュー] Scaling Vision Transformers to Gigapixel Images via Hierarchical Self-Supervised Learning

Richard J. Chen, Chengkuan Chen+5 more|arXiv (Cornell University)|Jun 6, 2022

Cell Image Analysis Techniques被引用数 8

ひとこと要約

この論文は、計算病理学におけるギガピクセルスライド画像（WSIs）を表現するために、マルチスケール自己教師あり学習を活用する階層的Vision TransformerアーキテクチャであるHIPTを紹介する。10,678枚のWSI（33種類のがんを含む）を用いて104M個の$256\times256$パッチと408k個の$4096\times4096$領域で事前学習することで、がん亜型分類や生存予測といったスライドレベルのタスクで最先端の性能を達成した。階層的自己教師あり学習が腫瘍微小環境における重要な空間的および表現型のインダクティブバイアスを捉えられることを示した。

ABSTRACT

Vision Transformers (ViTs) and their multi-scale and hierarchical variations have been successful at capturing image representations but their use has been generally studied for low-resolution images (e.g. - 256x256, 384384). For gigapixel whole-slide imaging (WSI) in computational pathology, WSIs can be as large as 150000x150000 pixels at 20X magnification and exhibit a hierarchical structure of visual tokens across varying resolutions: from 16x16 images capture spatial patterns among cells, to 4096x4096 images characterizing interactions within the tissue microenvironment. We introduce a new ViT architecture called the Hierarchical Image Pyramid Transformer (HIPT), which leverages the natural hierarchical structure inherent in WSIs using two levels of self-supervised learning to learn high-resolution image representations. HIPT is pretrained across 33 cancer types using 10,678 gigapixel WSIs, 408,218 4096x4096 images, and 104M 256x256 images. We benchmark HIPT representations on 9 slide-level tasks, and demonstrate that: 1) HIPT with hierarchical pretraining outperforms current state-of-the-art methods for cancer subtyping and survival prediction, 2) self-supervised ViTs are able to model important inductive biases about the hierarchical structure of phenotypes in the tumor microenvironment.

研究の動機と目的

• 計算病理学における既存の弱教師あり複数インスタンス学習（MIL）フレームワークの限界に対処すること。これらは$256\times256$パッチレベルの表現に限定され、長距離依存性を捉えるための注目メカニズムを欠いている。
• 複数の解像度にわたるスライドの内在的階層的構造を活用することで、ギガピクセルスライド画像（WSIs）における効果的なスライドレベル表現学習を可能にすること。
• 自己教師あり学習を用いて、トークナイゼーションと集約の両コンponentを同時に事前学習するVision Transformerアーキテクチャを開発し、データが少ない状況での一般化性能を向上させること。
• 階層的自己教師あり事前学習が、腫瘍微小環境における生物学的に意味のあるインダクティブバイアス（例：腫瘍-免疫局在、空間的表現型組織）を捉えられることを検証すること。

提案手法

• 16\times16の細胞レベルトークンから256\times256および4096\times4096の領域表現へ、下位から上位への統合を実行する3段階のアーキテクチャである階層的画像ピラミッドトランスフォーマー（HIPT）を提案。
• 2段階の自己教師あり事前学習を採用：まず$256\times256$パッチで、次に$4096\times4096$領域で、インスタンス識別を用いた対照的学習を実施。
• 16\times16パッチ埋め込みをベースとするViTバックボーンを特徴抽出器として用い、256\times256および4096\times4096スケール用に別々のViTエンコーダーを設ける。
• 要因分解された注目メカニズムを用いて階層的注目マップを可視化し、腫瘍細胞および免疫細胞の局在の解釈可能性を向上。
• 段階的事前学習を実施：まず104Mインスタンス分の$256\times256$パッチで、次に408kインスタンス分の$4096\times4096$領域で。
• [CLS]トークンを最後の4つのViT層から抽出し、特徴を連結するが、性能向上は観察されなかった。

実験結果

リサーチクエスチョン

• RQ1 標準的なMILフレームワークと比較して、Vision Transformerの階層的自己教師あり事前学習が、ギガピクセルスライド画像におけるスライドレベル表現学習を改善できるか？
• RQ2 16\times16の細胞から4096\times4096の組織領域までに及ぶマルチスケールの視覚的トークンをモデル化することで、腫瘍微小環境における生物学的に関連するインダクティブバイアスを捉えられるか？
• RQ3 パニックがんデータでの事前学習と臓器特異的学習を比較した場合、一般化性能および注目マップの解釈可能性においてどちらが優れるか？
• RQ4 自己教師ありViTは、監視付きまたは弱教師ありMILベースラインを上回る性能を、がん亜型分類および生存予測タスクで示せるか？
• RQ5 階層的注目メカニズムは、臨床的に関連する特徴（例：腫瘍巣、ストロマ侵襲、免疫浸潤）をどの程度正確に局在化できるか？

主な発見

• 階層的事前学習を施したHIPTは、9つのスライドレベルタスクで最先端の性能を達成し、がん亜型分類および生存予測の分野で現在のSOTA手法を上回った。
• 33種類のがんを含むパニックがんデータでの事前学習は、臓器特異的学習よりも優れた一般化性能を示し、多様な組織像パターンにおいて腫瘍細胞およびリンパ球の局在化に特に優れた結果をもたらした。
• モデルは優れた解釈可能性を示し、階層的注目マップにより、線維化ストロマにおける浸潤性腫瘍細胞および腫瘍巣パターンの局在が的確に特定された。これは、浸潤性乳癌と小葉癌を区別する上で重要である。
• BRCA亜型分類において、パニックがん事前学習を施したHIPTは、BRCA特異的事前学習を上回った。これは、表現型が類似した亜型を区別するために必要なストロマコンテキストをよりよく捉えられたためと考えられる。
• 自己教師ありViTは、腫瘍-免疫局在に注目することで、組織微小環境全体にわたる長距離空間的依存性をモデル化でき、正確な生存予測を可能にした。
• ViT層間の特徴連結は性能向上をもたらさず、最終層の[CLS]トークンがダウンストリームタスクに十分であることが示唆された。