[論文レビュー] Respond-CAM: Analyzing Deep Models for 3D Imaging Data by Visualizations

Guannan Zhao, Bo Zhou+3 more|arXiv (Cornell University)|May 31, 2018

Cell Image Analysis Techniques参考文献 9被引用数 6

ひとこと要約

本論文では、生体医療画像における3次元畳み込みニューラルネットワーク（CNN）を解釈するための新しい勾配ベースの可視化手法、Respond-CAMを提案する。勾配と活性化値の両方を用いて特徴マップを重み付けすることで、特に3次元細胞内電子プローブトモグラフィー（CECT）データにおいて、Grad-CAMに比べてより正確で一貫性のあるクラス判別的ヒートマップを生成する。L1誤差および Kendall’s Tau の指標による検証により、スムージング・スコア性（sum-to-score property）が顕著に向上した。

ABSTRACT

The convolutional neural network (CNN) has become a powerful tool for various biomedical image analysis tasks, but there is a lack of visual explanation for the machinery of CNNs. In this paper, we present a novel algorithm, Respond-weighted Class Activation Mapping (Respond-CAM), for making CNN-based models interpretable by visualizing input regions that are important for predictions, especially for biomedical 3D imaging data inputs. Our method uses the gradients of any target concept (e.g. the score of target class) that flows into a convolutional layer. The weighted feature maps are combined to produce a heatmap that highlights the important regions in the image for predicting the target concept. We prove a preferable sum-to-score property of the Respond-CAM and verify its significant improvement on 3D images from the current state-of-the-art approach. Our tests on Cellular Electron Cryo-Tomography 3D images show that Respond-CAM achieves superior performance on visualizing the CNNs with 3D biomedical images inputs, and is able to get reasonably good results on visualizing the CNNs with natural image inputs. The Respond-CAM is an efficient and reliable approach for visualizing the CNN machinery, and is applicable to a wide variety of CNN model families and image analysis tasks.

研究の動機と目的

• 3次元CNNの生体医療画像解析への応用において、視覚的解釈可能性の欠如を是正すること。特にCECTのような3次元画像データに焦点を当てる。
• モデルの予測に与える入力領域の真正の寄与度をよりよく反映する可視化手法を開発すること。
• 勾配のノイズが多く、モデル出力との整合性が低いという、Grad-CAMなどの既存手法の限界を改善すること。
• 実世界の3次元生体医療データセットを用いて手法を検証し、多様なネットワークアーキテクチャにわたる信頼性と一般化性能を示すこと。

提案手法

• Respond-CAMは、畳み込み層内の特徴マップに対して、目的クラススコアの勾配を計算する。
• 勾配値と活性化の大きさの両方を用いた重み付き組み合わせにより、より頑健なヒートマップを生成する。
• 情報量の多い領域を強調するため、チャネル単位での重み付けを学習可能または適応的メカニズムで実装する。
• 最終的なヒートマップは、重み付き特徴マップの和をとることで得られ、判別的な入力領域を強調する空間的注目マップを生成する。
• 本手法はあらゆるCNNアーキテクチャと互換性があり、分類、セグメンテーション、回帰の各タスクに適用可能である。
• 3次元画像応用の既存のディープラーニングパイプラインに容易に統合可能であり、効率的である。

実験結果

リサーチクエスチョン

• RQ1 3次元生体医療画像におけるCNNの予測とその視覚的説明の間の整合性をどのように向上させられるか？
• RQ2 勾配に加えて活性化の大きさの情報を組み込むことで、勾配のみの手法に比べて、より信頼性が高く解釈可能な可視化が可能になるか？
• RQ3 3次元画像データにおいて、Respond-CAMは現在の最先端手法であるGrad-CAMをスムージング・スコア性の観点で上回るか？
• RQ4 Respond-CAMは、CECTのような異なるCNNアーキテクチャや3次元画像モodalitiesに対して、頑健かつ有効に機能するか？

主な発見

• Respond-CAMは、CNN-1で0.601 ± 0.187、CNN-2で0.770 ± 0.366の平均L1誤差を達成し、それぞれGrad-CAMの15.344 ± 7.789および8.117 ± 3.854よりも顕著に低い値を示しており、モデル出力との整合性が優れていることが示された。
• Respond-CAMは、CNN-1で0.981 ± 0.014、CNN-2で0.976 ± 0.018のKendall’s Tau（KT）を達成したのに対し、Grad-CAMは0.273 ± 0.350および0.822 ± 0.097であった。これは、モデルの信頼度順位と強い整合性を示している。
• Respond-CAMを用いた可視化では、CECTの3次元画像において生物学的に関連する構造が明確に強調されており、Grad-CAMに比べて局在化精度が向上し、ノイズも低減された。
• 本手法は、異なるネットワークアーキテクチャ（CNN-1およびCNN-2）において一貫した性能を示し、信号対雑音比が低いノイズの多い入力に対しても有効であった。
• Respond-CAMは自然な3次元画像に対しても優れた性能を維持しており、生体医療画像に限らない一般化性能を示している。
• 理論的分析により、Respond-CAMがスムージング・スコア性を満たしていることが確認され、ヒートマップの合計が予測スコアに近づくことが保証された。