[論文レビュー] HoloHisto: End-to-end Gigapixel WSI Segmentation with 4K Resolution Sequential Tokenization

Yucheng Tang, Yufan He+12 more|arXiv (Cornell University)|Jul 3, 2024

CCD and CMOS Imaging Sensors被引用数 4

ひとこと要約

HoloHisto は、4K 解像度の逐次トークナイゼーションを用いたエンド・ツー・エンドのフレームワークを提案する。これにより、パッチ化を行わず、全スライド画像（WSI）を直接入力・出力できる。4K パッチサンプラーと、ReLU 線形注意機構を備えた二段階の ViT を用いることで、新規の WSI レvel腎疾患病理学ベンチマークにおいて、Dice スコアで最大 8.8% の向上を達成し、最先端性能を実現した。

ABSTRACT

In digital pathology, the traditional method for deep learning-based image segmentation typically involves a two-stage process: initially segmenting high-resolution whole slide images (WSI) into smaller patches (e.g., 256x256, 512x512, 1024x1024) and subsequently reconstructing them to their original scale. This method often struggles to capture the complex details and vast scope of WSIs. In this paper, we propose the holistic histopathology (HoloHisto) segmentation method to achieve end-to-end segmentation on gigapixel WSIs, whose maximum resolution is above 80,000$ imes$70,000 pixels. HoloHisto fundamentally shifts the paradigm of WSI segmentation to an end-to-end learning fashion with 1) a large (4K) resolution base patch for elevated visual information inclusion and efficient processing, and 2) a novel sequential tokenization mechanism to properly model the contextual relationships and efficiently model the rich information from the 4K input. To our best knowledge, HoloHisto presents the first holistic approach for gigapixel resolution WSI segmentation, supporting direct I/O of complete WSI and their corresponding gigapixel masks. Under the HoloHisto platform, we unveil a random 4K sampler that transcends ultra-high resolution, delivering 31 and 10 times more pixels than standard 2D and 3D patches, respectively, for advancing computational capabilities. To facilitate efficient 4K resolution dense prediction, we leverage sequential tokenization, utilizing a pre-trained image tokenizer to group image features into a discrete token grid. To assess the performance, our team curated a new kidney pathology image segmentation (KPIs) dataset with WSI-level glomeruli segmentation from whole mouse kidneys. From the results, HoloHisto-4K delivers remarkable performance gains over previous state-of-the-art models.

研究の動機と目的

• パッチベースの WSI 分割手法に起因する文脈の制限や、微細な組織的関係を捉えられないという限界を是正すること。
• 事前に定義されたタイリングやクロッピング戦略を用いずに、全ギガピクセル WSI におけるエンド・ツー・エンドの学習と推論を可能にすること。
• 豊富な文脈的・局所的詳細を有する超高解像度（4K）画像をモデル化できるスケーラブルで効率的なアーキテクチャの開発。
• 次世代ヒストパスロジー分類モデルの開発と評価を可能にする、新しいゴールドスタンダード WSI レベルの分類データセット（KPIS）の構築。
• 病理画像における密度的な予測に、4K 解像度の逐次トークナイゼーションと ReLU を用いた注意機構が優れていることを実証すること。

提案手法

• HoloHisto は、標準の 512×512 パッチよりも 31 倍多くの画素を捉える 4K 解像度のパッチサンプラーを採用し、より豊かな視覚的文脈を実現する。
• 事前学習済みの画像トークナイザーを用いて、4K 画像特徴を離散的トークングリッドに変換し、次元削減を図るとともに、知覚的構造を保持する。
• マルチスケール注意機構と ReLU を用いた線形注意機構を備えた二段階のビジョントランスフォーマー（ViT）アーキテクチャを採用し、標準のソフトマックス注意機構に代えて計算コストを削減する。
• cuCIM と MONAI を統合することで、さまざまな倍率レベルでのリアルタイムかつ動的な WSI ロードとオンラインデータオーグメンテーションを実現する。
• モデルは全 WSI に対してエンド・ツー・エンドで学習・推論され、再構成を経ることなく、ギガピクセルのセグメンテーションマスクを直接出力する。
• 任意の領域を対象にサンプリング可能な新規のランダム 4K サンプラーを採用し、効率的なデータロードと学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 パッチベース手法と比較して、包括的でエンド・ツー・エンドのアプローチが、ギガピクセル WSI における分類性能を向上させられるか？
• RQ2 4K 解像度の逐次トークナイゼーションは、標準の 256×256 や 512×512 パッチと比較して、文脈モデリングと特徴表現を顕著に向上させるか？
• RQ3 ReLU を用いた線形注意機構は、計算コストを低減しつつ、超高解像度画像モデリングにおいて標準のソフトマックス注意機構に効果的に置き換えられるか？
• RQ4 4K パッチ戦略を用いた WSI の直接入力・出力は、グロメルラス検出のような密度的で小規模なオブジェクトタスクにおける分類精度をどの程度向上させるか？
• RQ5 新規の WSI レベルのベンチマークデータセット（KPIS）は、次世代ヒストパスロジー分類モデルの開発と評価を支援できるか？

主な発見

• HoloHisto-4K は 4K パッチの Dice スコアで 88.85 を達成し、次に優れた手法（SAM ViT-H マルチスケール）を 0.87 ポイント上回った。
• 全 WSI レベルでは、タイリングと再構成に依存するベースライン手法と比較して、HoloHisto-4K は Dice スコア 86.11 を達成し、顕著な優位性を示した。
• アブレーションスタディの結果、トークナイザーと ReLU 注意機構の組み合わせにより、ベースライン（Linear Proj + MHSA）から 1.85 ポイントの Dice スコア向上が確認された。
• タイリングではなくランダム 4K サンプラーを用いることで、WSI レベルの Dice スコアは 3.67 ポイント向上し、エンド・ツー・エンド学習の利点を実証した。
• NEPTUNE データセットでは、HoloHisto は全組織スケールでベースラインを上回る Dice スコアを達成し、3000×3000 解像度でも一貫した向上を示した。
• モデルは単一のフォワードパスで完全なギガピクセルのセグメンテーションマスクを生成でき、真のエンド・ツー・エンドの能力を示した。