[論文レビュー] Slideflow: Deep Learning for Digital Histopathology with Real-Time Whole-Slide Visualization

James M. Dolezal, Sara Kochanny+7 more|arXiv (Cornell University)|Apr 9, 2023

AI in cancer detection被引用数 8

ひとこと要約

Slideflowは、TensorFlow/PyTorchバックエンド横断で、全スライド画像処理と予測・ヒートマップ・特徴分析のリアルタイム可視化を可能にする、柔軟なフレームワーク非依存のデジタル病理学ライブラリです。

ABSTRACT

Deep learning methods have emerged as powerful tools for analyzing histopathological images, but current methods are often specialized for specific domains and software environments, and few open-source options exist for deploying models in an interactive interface. Experimenting with different deep learning approaches typically requires switching software libraries and reprocessing data, reducing the feasibility and practicality of experimenting with new architectures. We developed a flexible deep learning library for histopathology called Slideflow, a package which supports a broad array of deep learning methods for digital pathology and includes a fast whole-slide interface for deploying trained models. Slideflow includes unique tools for whole-slide image data processing, efficient stain normalization and augmentation, weakly-supervised whole-slide classification, uncertainty quantification, feature generation, feature space analysis, and explainability. Whole-slide image processing is highly optimized, enabling whole-slide tile extraction at 40X magnification in 2.5 seconds per slide. The framework-agnostic data processing pipeline enables rapid experimentation with new methods built with either Tensorflow or PyTorch, and the graphical user interface supports real-time visualization of slides, predictions, heatmaps, and feature space characteristics on a variety of hardware devices, including ARM-based devices such as the Raspberry Pi.

研究の動機と目的

• デジタル病理学DL手法のための柔軟でフレームワーク非依存のライブラリを提供する。
• ハードウェアを横断したリアルタイム全スライド可視化とインタラクションを実現する。
• 染色標準化、拡張、弱教師ありWSI、不確実性評価、説明可能性などの高度な処理をサポートする。
• データを再処理したりソフトウェアスタックを切り替えたりせずに、新しいアーキテクチャの迅速な実験を促進する。

提案手法

• デジタル病理学のための広範なDL手法をサポートするライブラリとしてSlideflowを開発する。
• スライド、予測、ヒートマップ、特徴空間のリアルタイム可視化を可能にする高速全スライドインターフェースを実装する。
• 効率的な染色標準化と拡張のためのデータ処理ツールを組み込む。
• 弱教師あり全スライド分類、不確実性評価、特徴生成、特徴空間分析、説明可能性コンポーネントを含める。
• TensorFlowまたはPyTorchバックエンドと互換性のあるフレームワーク非依存のパイプラインを提供する。
• 1スライドあたり2.5秒で40X倍率までの全スライドタイル抽出を最適化する。

実験結果

リサーチクエスチョン

• RQ1 Slideflowはソフトウェアスタックを切り替えることなく、デジタル病理学の異なる深層学習アプローチの迅速な実験をサポートできるか。
• RQ2 リアルタイム可視化を、ハードウェアプラットフォーム全体で予測、ヒートマップ、特徴空間分析とどの程度効果的に統合できるか。
• RQ3 フレームワーク非依存のエンドツーエンドのWSI処理パイプラインを使用する際の効率性とアクセス性の向上はどの程度か。
• RQ4 不確実性評価と説明可能性を、消費者向けハードウェア（例：Raspberry PiのようなARMデバイス）上のWSIワークフローにどの程度組み込むことができるか。

主な発見

• Slideflowは、単一ライブラリ内でデジタル病理学のための広範なDL手法を実現する。
• 全スライド処理は高度に最適化され、40Xタイル抽出を1スライドあたり2.5秒で達成する。
• インターフェースは、スライド、予測、ヒートマップ、特徴空間の可視化をリアルタイムにサポートする。
• パイプラインはフレームワーク非依存で、TensorFlowまたはPyTorchバックエンドをサポートし、手法間の迅速な実験を可能にする。
• システムはRaspberry PiのようなARMベースのデバイスを含む多様なハードウェア上で動作する。
• 染色標準化、拡張、不確実性評価、説明可能性のツールを含む。