[論文レビュー] Domain-specific optimization and diverse evaluation of self-supervised models for histopathology

Jeremy Lai, Faruk Ahmed+14 more|arXiv (Cornell University)|Oct 20, 2023

AI in cancer detection被引用数 4

ひとこと要約

本論文は、多様な組織タイプおよびがん診断において基礎モデルの性能を向上させるために、ヒストパスロジーに特化した自己教師あり学習（SSL）手法を提案する。17種類の組織タイプと12種類のがんタイプ、さまざまな倍率をカバーする包括的なベンチマークを用いて、著者らは、標準的手法よりも顕著に性能を向上させるように設計されたSSL手法が、下流の病理学的タスクにおける高品質な基礎モデルを確立することを示している。

ABSTRACT

Task-specific deep learning models in histopathology offer promising opportunities for improving diagnosis, clinical research, and precision medicine. However, development of such models is often limited by availability of high-quality data. Foundation models in histopathology that learn general representations across a wide range of tissue types, diagnoses, and magnifications offer the potential to reduce the data, compute, and technical expertise necessary to develop task-specific deep learning models with the required level of model performance. In this work, we describe the development and evaluation of foundation models for histopathology via self-supervised learning (SSL). We first establish a diverse set of benchmark tasks involving 17 unique tissue types and 12 unique cancer types and spanning different optimal magnifications and task types. Next, we use this benchmark to explore and evaluate histopathology-specific SSL methods followed by further evaluation on held out patch-level and weakly supervised tasks. We found that standard SSL methods thoughtfully applied to histopathology images are performant across our benchmark tasks and that domain-specific methodological improvements can further increase performance. Our findings reinforce the value of using domain-specific SSL methods in pathology, and establish a set of high quality foundation models to enable further research across diverse applications.

研究の動機と目的

• ヒストパスロジーにおけるデータ不足に取り組むために、自己教師あり学習を用いた基礎モデルの開発を目的とする。
• 17種類の組織タイプ、12種類のがんタイプ、複数の倍率をカバーする包括的で標準化されたベンチマークの構築を目的とする。
• ヒストパスロジーに特化したSSL手法の評価と最適化を行い、ピース単位および弱教師ありタスクにおける性能向上を目的とする。
• 今後の病理学的AI研究のための、高性能で一般化可能な基礎モデルのセットを確立することを目的とする。
• ドメイン特化型の手法的改善が、ヒストパスロジーにおけるSSL性能を顕著に向上させることを示すこと。

提案手法

• 17種類の固有の組織タイプと12種類の固有のがんタイプ、さまざまな倍率およびタスクタイプをカバーする包括的なベンチマークを開発した。
• コントラスト法およびマスク化自己符号化アプローチを用いて、ヒストパスロジー全スライド画像に対して複数の自己教師あり学習（SSL）手法を適用・評価した。
• ヒストロジー画像の特徴に適合したドメイン特化型のデータ拡張、正規化、トレーニング戦略を用いて、SSL手法を最適化した。
• 汎化性能を評価するために、ホールドアウトされたピース単位分類タスクおよび弱教師あり分類タスクでモデルを評価した。
• 転移学習を用いて、基礎モデルを下流タスクに微調整し、多様な臨床状況における性能を測定した。
• アブレーションスタディを実施し、ドメイン特化型の改善がSSL性能に与える影響を分離して評価した。

実験結果

リサーチクエスチョン

• RQ1 標準的な自己教師あり学習手法は、組織タイプ、がんタイプ、倍率を網羅する多様なヒストパスロジーのタスクにおいて、どのように性能を発揮するか？
• RQ2 ドメイン特化型の手法的適応は、ヒストパスロジーにおけるSSL性能をどの程度向上させるか？
• RQ3 ドメイン最適化されたSSLで事前学習された基礎モデルは、ホールドアウトされたピース単位および弱教師あり分類タスクに効果的に一般化できるか？
• RQ4 データ前処理およびトレーニング戦略のどの要素が、ヒストパスロジーにおけるSSL性能に最も顕著な影響を与えるか？
• RQ5 ドメイン最適化されたSSLモデルの性能は、ベンチマーク全体で標準的なSSLベースラインと比較してどの程度優れているか？

主な発見

• 標準的な自己教師あり学習手法は、ヒストパスロジー画像に的確に適用された場合、多様なヒストパスロジーのベンチマーク全体で強力な性能を発揮する。
• ドメイン特化型の手法的改善——特に特化したデータ拡張や正規化——は、標準的なSSLアプローチを上回るモデル性能をさらに向上させる。
• 提案された基礎モデルは、ホールドアウトされたピース単位および弱教師あり分類タスクに効果的に一般化され、強力な転送性を示している。
• 複数の倍率をカバーする17種類の組織タイプと12種類のがんタイプのベンチマークは、今後の研究における包括的で再現可能な評価フレームワークを提供する。
• 本研究は、データ、計算リソース、専門知識の要件を下流モデル開発において低減できる、高品質で高性能な基礎モデルのセットを確立した。
• ドメイン特化型の最適化による性能向上は、定量的に測定可能であり、複数のタスクタイプおよび組織カテゴリーにわたり一貫性を示している。