[論文レビュー] One Model is All You Need: Multi-Task Learning Enables Simultaneous Histology Image Segmentation and Classification

Simon Graham, Quoc Dang Vu+5 more|arXiv (Cornell University)|Feb 28, 2022

AI in cancer detection被引用数 12

ひとこと要約

本論文では、1つの共有バックボーンを用いて全スライド画像において核、腺、腔、組織領域を同時にセグメンテーションおよび分類するマルチタスク深層学習モデルCerberusを提案する。複数の独立したデータソースからのデータを活用し、組織タイプと解像度を整列させることで、全タスクで優れた性能を達成し、単一タスクベースラインを上回る。また、核分類やシグネットリング細胞検出といった下流タスクにおける転移学習を可能にし、TCGAの599例の結腸直腸がん全スライド画像を高精度で処理した。

ABSTRACT

The recent surge in performance for image analysis of digitised pathology slides can largely be attributed to the advances in deep learning. Deep models can be used to initially localise various structures in the tissue and hence facilitate the extraction of interpretable features for biomarker discovery. However, these models are typically trained for a single task and therefore scale poorly as we wish to adapt the model for an increasing number of different tasks. Also, supervised deep learning models are very data hungry and therefore rely on large amounts of training data to perform well. In this paper, we present a multi-task learning approach for segmentation and classification of nuclei, glands, lumina and different tissue regions that leverages data from multiple independent data sources. While ensuring that our tasks are aligned by the same tissue type and resolution, we enable meaningful simultaneous prediction with a single network. As a result of feature sharing, we also show that the learned representation can be used to improve the performance of additional tasks via transfer learning, including nuclear classification and signet ring cell detection. As part of this work, we train our developed Cerberus model on a huge amount of data, consisting of over 600K objects for segmentation and 440K patches for classification. We use our approach to process 599 colorectal whole-slide images from TCGA, where we localise 377 million, 900K and 2.1 million nuclei, glands and lumina, respectively and make the results available to the community for downstream analysis.

研究の動機と目的

• 各ヒストロロジー解析タスク用に個別に訓練された深層学習モデルのスケーラビリティおよびデータ効率の課題に対処すること。
• 全スライド画像における複数の組織構造（核、腺、腔、組織領域）の同時セグメンテーションおよび分類を実行する統合された深層学習フレームワークの開発。
• 組織タイプと解像度の整合性を保ちながら、複数の独立したデータソースからの多様なデータを活用し、モデルの汎化性能と性能を向上させること。
• 学習された共有表現が、核分類やシグネットリング細胞検出のような下流タスクの性能向上に有効に転送可能であることを示すこと。
• 説明可能なCPathパイプラインにおけるコミュニティ利用を目的として、TCGAの599例の結腸直腸がん全スライド画像に対して大規模かつ高精度なセグメンテーションおよび分類結果を公開すること。

提案手法

• 核、腺、腔、組織領域のセグメンテーションおよび分類のためのタスク固有のヘッドを備えた共有エンコーダーを有するマルチタスク学習フレームワークを設計。
• 複数の独立したデータソースからのデータを統合するための新規なサンプリング戦略を採用し、タスク間で組織タイプと解像度が一貫するように保証。
• 1つの深層ニューラルネットワーク（Cerberus）を用い、タスク間で共有特徴を活用することで、計算負荷を低減し、エンドツーエンドのトレーニングを可能に。
• セグメンテーションヘッドには核、腺、腔のインスタンスセグメンテーションを含め、分類ヘッドには組織タイプおよび核サブタイプの予測を実装。
• 核分類やシグネットリング細胞検出のような追加タスクに対して、学習済み特徴を用いて共有エンコーダーを微調整することで転移学習を適用。
• トレーニングには60万以上のセグメンテーション対象オブジェクトおよび44万以上の分類パッチを用い、28,451 × 56,782ピクセルの1枚のTCGA全スライド画像（0.5 μm/ピクセル解像度）に対して推論を実施。

実験結果

リサーチクエスチョン

• RQ1 1つの深層学習モデルが、核、腺、腔、組織領域のセグメンテーションおよび分類という複数のヒストロジー解析タスクを同時に競争力ある性能で達成できるか？
• RQ2 同じ組織タイプおよび解像度に一致させたタスクを用いたマルチタスク学習は、単一タスクアプローチと比較してモデル性能および汎化性能を向上させるか？
• RQ3 マルチタスクモデルが学習した共有表現は、核分類やシグネットリング細胞検出のような下流タスクの性能向上に有効に転送可能か？
• RQ4 複数の独立したデータソースからのデータを活用することで、一貫性を損なわず、ドメインシフトを引き起こさずにモデル性能が向上する程度はどの程度か？
• RQ5 モデルの出力結果が、説明可能なコンピューターシステム病理学パイプラインにおける生物学的に解釈可能な特徴抽出を可能にするか？

主な発見

• Cerberusモデルは、1つの共有ネットワークを用いながらも、全セグメンテーションおよび分類タスクで優れた性能を達成し、単一タスクベースラインを上回った。
• モデルはTCGAの599例の結腸直腸がん全スライド画像を処理し、3億7,700万個の核、90万個の腺、210万個の腔を高精度に局在化した。
• パラメータ数（140万）はMILD-Net（280万）およびHoVer-Net（420万）よりも顕著に低く、標準GPU上での効率的な推論を可能にした。
• 1枚のTCGA全スライド画像（28,451 × 56,782ピクセル）の推論は、バッチサイズ25でNVIDIA GeForce 1080 Tiを用いてわずか11.7分で実行された。
• 共有エンコーダーを用いた転移学習により、核分類やシグネットリング細胞検出のような下流タスクの性能が向上し、学習済み表現の有効性が示された。
• がん性腺における腔のセグメンテーションと筋肉と間質の区別については、20倍拡大での限られたコンテキストと小さなパッチサイズのため、困難を示した。多スケールまたはより大きな受容野を用いたアプローチにより、さらなる改善が期待される。