[論文レビュー] Language models are good pathologists: using attention-based sequence reduction and text-pretrained transformers for efficient WSI classification

Juan I. Pisula, Katarzyna Bożek|arXiv (Cornell University)|Nov 14, 2022

AI in cancer detection被引用数 5

ひとこと要約

本稿では、テキスト事前学習済みトランスフォーマーを用いた効率的で正確なWSI分類を可能にする、マルチヘッドアテンションに基づくシーケンス圧縮レイヤーであるSeqShortを提案する。この手法は、全スライド画像（WSIs）を固定長の順序付き特徴ベクトル列に圧縮する。さらに、固定されたRoBERTaベースのトランスフォーマーと組み合わせ、パラメータの0.04%のみを微調整することで、リンパ節転移およびがんサブタイピングタスクで最先端の性能を達成し、計算リソースとトレーニング可能なパラメータ数を最小限に抑える。

ABSTRACT

In digital pathology, Whole Slide Image (WSI) analysis is usually formulated as a Multiple Instance Learning (MIL) problem. Although transformer-based architectures have been used for WSI classification, these methods require modifications to adapt them to specific challenges of this type of image data. Among these challenges is the amount of memory and compute required by deep transformer models to process long inputs, such as the thousands of image patches that can compose a WSI at $ imes 10$ or $ imes 20$ magnification. We introduce extit{SeqShort}, a multi-head attention-based sequence shortening layer to summarize each WSI in a fixed- and short-sized sequence of instances, that allows us to reduce the computational costs of self-attention on long sequences, and to include positional information that is unavailable in other MIL approaches. Furthermore, we show that WSI classification performance can be improved when the downstream transformer architecture has been pre-trained on a large corpus of text data, and only fine-tuning less than 0.1\% of its parameters. We demonstrate the effectiveness of our method in lymph node metastases classification and cancer subtype classification tasks, without the need of designing a WSI-specific transformer nor doing in-domain pre-training, keeping a reduced compute budget and low number of trainable parameters.

研究の動機と目的

• WSIの長大な画像パッチ入力系列によるトランスフォーマーの高い計算コストを軽減すること。
• ドメイン特化の微調整やアーキテクチャの再設計を伴わずに、強力な事前学習済み言語モデルをデジタル病理会診に活用できること。
• 学習可能な位置エンコーディングとアテンションに基づく要約処理により、WSI埋め込みにおける空間的および文脈的情報を保持すること。
• WSI分類モデルにおけるトレーニング可能なパラメータ数を削減しながら、性能を維持または向上させること。
• テキスト事前学習済みトランスフォーマーを、最小限の微調整でヒストパスロジー分類に効果的に再利用できることを示すこと。

提案手法

• 数千のWSIパッチを固定長の順序付き特徴ベクトル列に圧縮する、マルチヘッドアテンションに基づくシーケンス短縮レイヤー（SeqShort）を導入する。
• SeqShortは、全パッチ埋め込みを注目する学習可能なクエリベクトルを用い、自己アテンション機構により顕著な特徴を捉える。
• 標準的なMIL手法の欠如する位置情報の欠落を補うために、学習可能な位置埋め込みを組み込む。
• 事前学習済みのRoBERTa-base言語モデルをトランスフォーマーのエンコーダーとして使用し、そのパラメータの0.04%のみを微調整する。
• ImageNetで事前学習済みのEfficientNetV2-Lバックボーンを用いて、WSIからのインスタンスレベル特徴を抽出する。
• 最終的な分類ヘッドは、トランスフォーマーのエンコーダーからの[CLS]トークン表現を用いるマルチレイヤーパーセプトロン（MLP）である。

実験結果

リサーチクエスチョン

• RQ1 アテンションに基づくシーケンス圧縮は、分類に有用な情報が保持されたまま、WSIパッチ系列を効果的に圧縮できるか？
• RQ2 RoBERTaのようなテキスト事前学習済みトランスフォーマーを用いることで、ドメイン特化の事前学習なしにWSI分類性能が向上するか？
• RQ3 0.1%未満のパラメータのみを微調整することで、WSI分類タスクで最先端の結果が得られるか？
• RQ4 シーケンス短縮レイヤーに学習可能な位置埋め込みを組み込むことで、位置情報が欠落する標準的なMIL手法と比較して、モデル性能にどのような影響を与えるか？
• RQ5 WSIに特化しない汎用的なトランスフォーマー・アーキテクチャが、効率的なシーケンス圧縮と組み合わせることで、デジタル病理会診で強力な性能を発揮できるか？

主な発見

• 提案手法は、CAMELYON16リンパ節転移分類ベンチマークでAUC 0.948、精度 0.882を達成し、最先端の性能を示した。
• TCGA-BRCA浸潤性乳癌サブタイピングタスクでは、10分割交差検証を用い、AUC 0.917、精度 0.841を達成した。
• 腎細胞癌サブタイピングでは、AUC 0.892、精度 0.815を達成し、がん種別にわたる頑健性を示した。
• トレーニング可能なパラメータ数を8500万から330万（全パラメータの0.04%）に削減し、計算コストを顕著に低減した。
• RoBERTa-baseパラメータの0.1%未満を微調整するだけで、完全な微調整やカスタムアーキテクチャを用いたモデルと同等またはそれ以上の性能を達成した。
• SeqShortに学習可能な位置埋め込みを組み込むことで、位置情報が欠落する標準的なMIL手法よりも性能が向上した。