[論文レビュー] Interpretable Classification from Skin Cancer Histology Slides Using Deep Learning: A Retrospective Multicenter Study

Peizhen Xie, Ke Zuo+4 more|arXiv (Cornell University)|Apr 12, 2019

Cutaneous Melanoma Detection and Management参考文献 14被引用数 24

ひとこと要約

本研究では、複数の倍率でH&E染色された全スライド画像から皮膚がんを分類する解釈可能なディープラーニングモデルを、ResNet50およびVgg19を用いて開発した。全スライド画像2,241枚から抽出された995万枚のパッチを用いて学習されたモデルは、悪性黒色腫と良性母斑を区別する際および高倍率での母斑分類において優れた性能を示し、可視化技術により病理医の診断の解釈可能性が向上した。

ABSTRACT

For diagnosing melanoma, hematoxylin and eosin (H&E) stained tissue slides remains the gold standard. These images contain quantitative information in different magnifications. In the present study, we investigated whether deep convolutional neural networks can extract structural features of complex tissues directly from these massive size images in a patched way. In order to face the challenge arise from morphological diversity in histopathological slides, we built a multicenter database of 2241 digital whole-slide images from 1321 patients from 2008 to 2018. We trained both ResNet50 and Vgg19 using over 9.95 million patches by transferring learning, and test performance with two kinds of critical classifications: malignant melanomas versus benign nevi in separate and mixed magnification; and distinguish among nevi in maximum magnification. The CNNs achieves superior performance across both tasks, demonstrating an AI capable of classifying skin cancer in the analysis from histopathological images. For making the classifications reasonable, the visualization of CNN representations is furthermore used to identify cells between melanoma and nevi. Regions of interest (ROI) are also located which are significantly helpful, giving pathologists more support of correctly diagnosis.

研究の動機と目的

• 皮膚がん組織像における複雑な組織構造を解釈可能な深層学習システムの開発。
• 多施設・後向きに分類されたデータセットを用いて、組織像の形態的多様性に対処。
• パッチベースの畳み込みニューラルネットワークを用いて、悪性黒色腫と良性母斑の診断正確性を向上。
• モデル予測の可視化により、臨床的有用性を高め、診断の信頼性を向上。
• 病理医が注目すべき領域（ROI）の局在化を支援し、より信頼性の高い診断を実現。

提案手法

• 2008年から2018年までの間、1,321名の患者から得られたH&E染色組織断面の全スライド画像2,241枚を含む多施設データベースを構築。
• 全スライド画像からさまざまな倍率で995万枚以上の画像パッチを抽出し、学習に使用。
• パッチデータセット上で、トランスファー学習を用いて事前学習済みのResNet50およびVgg19モデルを微調整。
• 2つの分類タスクにおけるモデル性能を評価：悪性黒色腫対良性母斑（別々の倍率および混合倍率）、および最大倍率での母斑分類。
• クラス活性化マッピング（CAM）およびその他の可視化技術を用いて、CNN特徴の解釈と注目領域（ROI）の局在化を実施。
• 注目マップおよびサリエンシー可視化を用いて、異型メラノサイトなどの生物学的に関連する構造を強調し、臨床的妥当性を検証。

実験結果

リサーチクエスチョン

• RQ1 H&E染色された全スライド画像を用いた深層畳み込みニューラルネットワークは、悪性黒色腫と良性母斑を正確に分類できるか？
• RQ2 異なる倍率レベルで学習およびテストした場合、モデルの性能はどのように変化するか？
• RQ3 注目メカニズムによる可視化によって、モデルの予測を病理医が解釈できるか？
• RQ4 悪性黒色腫と良性母斑を区別する上で、どの組織領域が最も予測的か？
• RQ5 モデルによるROIの局在化は、診断の自信を高め、読影者間のばらつきを低減できるか？

主な発見

• ディープラーニングモデルは、悪性黒色腫対良性母斑および母斑のサブタイピングの両タスクにおいて優れた分類性能を達成した。
• 995万枚以上のパッチ上で、ResNet50およびVgg19を用いたトランスファー学習により、多様な組織像パターンにわたる強固な特徴抽出が可能になった。
• 可視化技術により、異型メラノサイトや構造的歪みが的確に強調され、病理学的特徴と整合した。
• 注目領域（ROI）の局在化により、病理医が解釈可能で生物学的に関連する手がかりを提供した。
• 混合倍率入力に対しても一貫した性能を示し、汎化能力があることを示した。
• 解釈可能な出力により、悪性に関連する主要な形態的特徴を特定することで、診断の自信が向上した。