[論文レビュー] Patch-based Convolutional Neural Network for Whole Slide Tissue Image Classification

Le Hou, Dimitris Samaras+4 more|arXiv (Cornell University)|Apr 29, 2015

AI in cancer detection参考文献 43被引用数 32

ひとこと要約

本論文は、全スライド組織画像（WSI）分類のための判別的画像パッチを同定するための期待値最大化（EM）ベースの手法を備えたパッチベースの畳み込みニューラルネットワーク（CNN）を提案する。この手法により、計算制限がある中でも正確ながん亜型分類が可能となる。この手法は病理医間の観察者間一致度に相当する分類精度を達成し、画像レベルのCNNよりも優れた性能を示している。

ABSTRACT

Convolutional Neural Networks (CNN) are state-of-the-art models for many image classification tasks. However, to recognize cancer subtypes automatically, training a CNN on gigapixel resolution Whole Slide Tissue Images (WSI) is currently computationally impossible. The differentiation of cancer subtypes is based on cellular-level visual features observed on image patch scale. Therefore, we argue that in this situation, training a patch-level classifier on image patches will perform better than or similar to an image-level classifier. The challenge becomes how to intelligently combine patch-level classification results and model the fact that not all patches will be discriminative. We propose to train a decision fusion model to aggregate patch-level predictions given by patch-level CNNs, which to the best of our knowledge has not been shown before. Furthermore, we formulate a novel Expectation-Maximization (EM) based method that automatically locates discriminative patches robustly by utilizing the spatial relationships of patches. We apply our method to the classification of glioma and non-small-cell lung carcinoma cases into subtypes. The classification accuracy of our method is similar to the inter-observer agreement between pathologists. Although it is impossible to train CNNs on WSIs, we experimentally demonstrate using a comparable non-cancer dataset of smaller images that a patch-based CNN can outperform an image-based CNN.

研究の動機と目的

• ギガピクセル級の全スライド組織画像（WSI）に直接CNNを訓練する計算上の非現実性に対処すること。
• 細胞レベルの視覚的パターンをエンコードするパッチレベル特徴を活用してがん亜型分類を改善すること。
• 空間的関係およびパッチ間のラベル不一致を考慮したパッチレベル予測の統合を行う、頑健な意思決定統合モデルの開発。
• パッチレベルのラベルを必要とせずに、EMベースのフレームワークを用いて自動的に判別的パッチを同定すること。
• 判別的特徴がパッチスケールに分散している場合、パッチベースのCNNが画像レベルのCNNを上回ることを示すこと。

提案手法

• 2段階モデルを提案：1段階目のCNNが個々の画像パッチを分類し、2段階目のモデルがこれらの予測を統合して画像レベルのラベルを出力する。
• EMベースのアルゴリズムにより、パッチの真のラベルがWSIのラベルと一致するかどうかを示す隠れ変数をモデル化することで、反復的に判別的パッチを同定する。
• 初期段階ではすべてのパッチが判別的であると仮定し、その後EMイテレーションで信頼度スコアが低いパッチを除去し、収束するまで繰り返す。
• 空間平滑化を確率マップに適用することで、判別的領域の局在化を向上させ、ノイズを低減する。
• パッチレベルの予測のヒストグラムを用いて、多クラスロジスティック回帰またはSVMにより画像レベル分類を実行する。
• 一般化性を検証するため、グリオーマおよび非小細胞肺がんWSIに加え、レール表面欠険のグレーディングに対しても検証を実施した。

実験結果

リサーチクエスチョン

• RQ1 ギガピクセル級の全スライド組織画像において、意思決定統合を備えたパッチベースのCNNは、直接的な画像レベルCNN分類を上回ることができるか？
• RQ2 パッチレベルのラベルが存在しない状況で、判別的パッチを自動的に同定する方法は何か？
• RQ3 EMベースの判別的パッチ検出法は、単純な投票やプーリング戦略と比較して分類精度を向上させるか？
• RQ4 パッチベースのアプローチは、がん亜型分類において病理医間の観察者間一致度に匹敵する性能を達成できるか？
• RQ5 判別的特徴がパッチスケールに分散している場合、パッチベースのCNNは、判別的特徴が局所化されており、画像全体にわたって不均一な場合でも、画像レベルのCNNを上回る性能を示せるか？

主な発見

• EM-CNN-SVM手法はレール表面欠険グレーディングで81.3%の精度を達成し、画像ベースのCNN-Image手法（77.0%）を顕著に上回った。
• EM-CNN-Fea-SVM手法は83.0%の精度を達成し、事前学習済みCNN-ImageFea-SVMベースライン（77.8%）を上回った。
• グリオーマおよびNSCLCのWSIにおいて、パッチベースの手法は病理医間の観察者間一致度に匹敵する分類精度を達成した。
• レール表面データセットにおいて、パッチベースのアプローチは画像レベルCNNを上回り、判別的パターンが分散している場合、パッチレベル特徴がより効果的であることを示した。
• EMベースの手法は非判別的パッチを効果的に同定し、反復的な訓練セットの最適化によりモデルの頑健性を向上させた。
• 本研究は、特徴が画像内で局所的かつ不均一に分布している場合、パッチで学習したCNNが画像レベルのCNNを上回ることを確認した。