[論文レビュー] Multi-Stage Pathological Image Classification using Semantic Segmentation

Shusuke Takahama, Yusuke Kurose+6 more|arXiv (Cornell University)|Oct 10, 2019

AI in cancer detection参考文献 34被引用数 7

ひとこと要約

本論文は、局所的および全体的コンテキストの両方を活用するため、パッチベースのCNN特徴抽出と全体スライドの意味的セグメンテーションを組み合わせたマルチステージの病理画像分類フレームワークを提案する。これにより、従来のパッチのみの手法よりも高い精度が達成された。勾配を保持し、選択的に学習を行うことで、限られたGPUメモリ下でもエンドツーエンド学習が可能となり、より滑らかで臨床的に有用な腫瘍確率ヒートマップが得られ、誤検出の「腫瘍ポイント」が減少した。

ABSTRACT

Histopathological image analysis is an essential process for the discovery of diseases such as cancer. However, it is challenging to train CNN on whole slide images (WSIs) of gigapixel resolution considering the available memory capacity. Most of the previous works divide high resolution WSIs into small image patches and separately input them into the model to classify it as a tumor or a normal tissue. However, patch-based classification uses only patch-scale local information but ignores the relationship between neighboring patches. If we consider the relationship of neighboring patches and global features, we can improve the classification performance. In this paper, we propose a new model structure combining the patch-based classification model and whole slide-scale segmentation model in order to improve the prediction performance of automatic pathological diagnosis. We extract patch features from the classification model and input them into the segmentation model to obtain a whole slide tumor probability heatmap. The classification model considers patch-scale local features, and the segmentation model can take global information into account. We also propose a new optimization method that retains gradient information and trains the model partially for end-to-end learning with limited GPU memory capacity. We apply our method to the tumor/normal prediction on WSIs and the classification performance is improved compared with the conventional patch-based method.

研究の動機と目的

• 全身スライド画像（WSIs）におけるパッチベース分類の限界、すなわち全体的コンテキストや隣接パッチの関係性を無視する点を是正する。
• パッチレベルの局所的特徴と全体スライドスケールの全体的コンテキストを統合することで、分類性能を向上させる。
• 制限されたGPUメモリ容量下でも、統合分類・セグメンテーションモデルのエンドツーエンド学習を可能にする。
• 病理医のレビューに役立つ臨床的有用性の高い腫瘍確率ヒートマップを生成し、誤検出の「腫瘍ポイント」を最小限に抑える。

提案手法

• 本手法は二段階のパイプラインを用いる：まず、高解像度のWSIから切り出された小さなパッチからCNNが特徴を抽出する。
• これらのパッチ特徴が集約され、意味的セグメンテーションモデルに供給され、全体スライドの腫瘍確率ヒートマップが生成される。この際、全体的な空間的コンテキストが組み込まれる。
• 勾配を保持し、バックプロパゲーション中に特徴抽出器を部分的にのみ学習させながら、セグメンテーションモデルを固定するという、新たな最適化戦略を採用することで、メモリ使用量を削減する。
• 各イテレーションでパッチのサブセットのみを処理する、記憶効率の高いファインチューニングアプローチを用いて、エンドツーエンド学習を実現する。
• 局所的パッチレベル分類と全体的セグメンテーションを統合することで、意思決定の一貫性を向上させ、ノイズの多い予測を低減する。
• 本フレームワークはWSI分類タスクに適用され、標準的な指標を用いてCamelyon16およびCamelyon17データセットで評価された。

実験結果

リサーチクエスチョン

• RQ1 パッチベース分類に全体的な空間的コンテキストを統合することで、全身スライド画像における腫瘍／正常分類の精度が向上するか？
• RQ2 制限されたGPUメモリ制約下でも、統合分類・セグメンテーションモデルのエンドツーエンド学習をどのように実現できるか？
• RQ3 提案手法は、標準的なパッチベース分類器と比較して、予測ヒートマップにおける誤検出の「腫瘍ポイント」を減少させるか？
• RQ4 本モデルは、腫瘍領域が小さくまたは散在するような異なるWSIデータセットに対しても汎用性を示せるか？
• RQ5 ベンチマークデータセットにおいて、最先端のパッチオンリーモデルと比較して、本手法の性能はどのように差がつくか？

主な発見

• 提案手法はCamelyon16データセットで98.14%の精度と99.24%のPR-AUCを達成し、分類器オンativeのベースライン（96.23%の精度、96.39%のPR-AUC）を顕著に上回った。
• Camelyon17データセットでは、患者レベルのκスコアが76.4を記録したのに対し、ベースラインの分類器オンリーメソッドは71.9であった。
• 提案モデルが生成した予測ヒートマップは、パッチオンリーメソッドと比較して、孤立した「腫瘍ポイント」が少なく、病理医のレビューにおいてより臨床的に有用であった。
• 本モデルは、腫瘍領域が最小限または散在する場合でも、WSI内の小さな腫瘍領域を効果的に同定できた。
• 記憶効率の高いトレーニング戦略により、最小限のGPUメモリオーバーヘッドでエンドツーエンド学習が可能となり、大規模なWSI解析が現実可能になった。