[論文レビュー] Deep Learning Under the Microscope: Improving the Interpretability of Medical Imaging Neural Networks

Magdalini Paschali, Muhammad Ferjad Naeem+4 more|arXiv (Cornell University)|Apr 5, 2019

AI in cancer detection参考文献 2被引用数 5

ひとこと要約

本稿では、ヒストロロジーにおける全スライド画像（WSI）分類のための解釈可能な弱教師付き深層学習フレームワーク、MILSILBagnetを提案する。Bag-of-FeaturesにインspiredされたDNNとMultiple Instance Learning（MIL）ブランチを組み合わせ、微細なログィットヒートマップ可視化を実現することで、CRCおよびCamelyon16データセットにおいてベースラインを上回る高い精度と、細胞小器官レベルの注目領域特定を達成した。臨床的解釈可能性は専門病理医によって検証された。

ABSTRACT

In this paper, we propose a novel interpretation method tailored to histological Whole Slide Image (WSI) processing. A Deep Neural Network (DNN), inspired by Bag-of-Features models is equipped with a Multiple Instance Learning (MIL) branch and trained with weak supervision for WSI classification. MIL avoids label ambiguity and enhances our model's expressive power without guiding its attention. We utilize a fine-grained logit heatmap of the models activations to interpret its decision-making process. The proposed method is quantitatively and qualitatively evaluated on two challenging histology datasets, outperforming a variety of baselines. In addition, two expert pathologists were consulted regarding the interpretability provided by our method and acknowledged its potential for integration into several clinical applications.

研究の動機と目的

• 全スライド画像（WSI）分類における深層学習モデルの、微細なスケーラブルな解釈性の欠如に対処すること。
• 大規模なWSIにおけるモデル活性化と細胞小器官構造との直接対応を可能にすることで、モデルの解釈性を向上させること。
• 高価な核レベルのアノテーションに依存せず、高い意思決定精度を維持する弱教師付き手法を開発すること。
• 病理医がアノテーションおよび診断ワークフローを支援できる臨床的有用な可視化ツールを提供すること。
• 公開済みのヒストロジー・データセット上で、最先端のベースラインと比較して本手法の性能と解釈可能性を評価すること。

提案手法

• 1x1畳み込みを用いて、2048次元の特徴ベクトルを元のWSIの9×9画素領域にマッピングするBag-of-Featuresにインスパイアされたアーキテクチャを採用し、ピクセル単位の対応を可能にした。
• 弱教師付き学習を処理するため、個々のインスタンスのアノテーションなしにWSI全体がラベル付けされる状況に対応するMultiple Instance Learning（MIL）ブランチを統合し、モデルのロバスト性と表現力の向上を図った。
• 別個のSpatial Instance Learning（SIL）ブランチがピース単位のログィットを計算し、解釈性を高めるために微細なログィットヒートマップを生成する。
• 最終的な予測は、MILブランチにおけるグローバル平均プーリング層によって行われ、弱教師付きWSIからバッグレベル分類を実現した。
• ログィットヒートマップ可視化手法は、モデル活性化を画像領域に直接マッピングし、細胞小器官レベルで悪性細胞を明確に強調する高解像度の注目マップを提供する。
• モデルは、インスタンスレベルのバウンディングボックスやセグメンテーションマスクが不要な弱教師付きWSIを用いて、クロスエントロピー損失に基づきエンドツーエンドで学習した。

実験結果

リサーチクエスチョン

• RQ1 弱教師付きの深層学習モデルは、細胞小器官レベルの微細な解釈性を維持しつつ、WSI分類で高い精度を達成できるか？
• RQ2 Bag-of-FeaturesアーキテクチャとMILブランチを統合することで、ヒストロジーWSIにおける標準的なDNNと比較して、モデル性能とロバスト性が向上するか？
• RQ3 ログィットヒートマップは、CAM や GradCAM と比較して、WSI解析においてより正確で臨床的意味を持つ注目マップを提供できるか？
• RQ4 本手法の可視化は、病理医がアノテーション作業や臨床意思決定を支援するのにどの程度有効であるか？
• RQ5 複雑なヒストロジカル構造において、異なる倍率レベルにわたって本モデルがどのようにスケーリングされ、注目詳細を保持するか？

主な発見

• MILブランチを用いた本手法は、Camelyon16データセットで98.00 ± 2.74%の精度を達成し、次に優れたベースライン（ADMIL）を3.16ポイント上回った。
• CRCデータセットでは、SILブランチを用いて89.59 ± 3.03%の精度を達成し、次に優れた手法（ADMW）を4.24ポイント上回った。
• ログィットヒートマップ可視化は、微細な注目領域を優れた性能で示し、CAM や GradCAM がグローバル構造に注目するのに対し、高倍率でも悪性核を明確に強調した。
• 専門病理医は、明確さ、細胞小器官解像度、診断的特徴との直接対応性の観点から、本手法のログィットヒートマップをCAM や GradCAM よりも好んだ。
• 図3に示すように、複数の倍率レベルにわたっても高解像度の注目を維持し、ズームインした領域でも詳細の劣化が見られなかった。
• 病理医による評価を通じて、本手法のスケーラビリティと解釈性が検証され、自動アノテーションや病理医のトレーニング支援における臨床的応用可能性が同定された。