[論文レビュー] Robust Tumor Localization with Pyramid Grad-CAM

Sungmin Lee, Jangho Lee+3 more|arXiv (Cornell University)|May 29, 2018

Advanced Neural Network Applications参考文献 14被引用数 30

ひとこと要約

本稿では、密度結合特徴ピラミッドネットワーク（DC-FPN）を用いてマルチスケールのクラス活性化マップを生成する弱教師付き腫瘍局在手法であるPyramid Gradient-CAM（PG-CAM）を提案する。複数の特徴ピラミッドレベルからの勾配ベースのCAMを統合することで、PG-CAMはメンインジオーマMRIデータにおいて標準のGrad-CAMよりも23%高い局在精度を達成し、ピxlsレベルのアノテーションが不要な状態で、頑健で詳細な腫瘍境界の検出を可能にする。

ABSTRACT

A meningioma is a type of brain tumor that requires tumor volume size follow ups in order to reach appropriate clinical decisions. A fully automated tool for meningioma detection is necessary for reliable and consistent tumor surveillance. There have been various studies concerning automated lesion detection. Studies on the application of convolutional neural network (CNN)-based methods, which have achieved a state-of-the-art level of performance in various computer vision tasks, have been carried out. However, the applicable diseases are limited, owing to a lack of strongly annotated data being present in medical image analysis. In order to resolve the above issue we propose pyramid gradient-based class activation mapping (PG-CAM) which is a novel method for tumor localization that can be trained in weakly supervised manner. PG-CAM uses a densely connected encoder-decoder-based feature pyramid network (DC-FPN) as a backbone structure, and extracts a multi-scale Grad-CAM that captures hierarchical features of a tumor. We tested our model using meningioma brain magnetic resonance (MR) data collected from the collaborating hospital. In our experiments, PG-CAM outperformed Grad-CAM by delivering a 23 percent higher localization accuracy for the validation set.

研究の動機と目的

• 医療画像における強力なアノテーションが限られる課題に対処し、弱教師付き腫瘍局在を可能にすること。
• 畳み込みニューラルネットワークの深層部における階層的でマルチスケールの特徴を活用することで、腫瘍局在精度を向上させること。
• ボクシングボックスやピxlsレベルのアノテーションを必要とせず、微細な腫瘍境界を捉える手法を開発すること。
• リソースが限られた医療画像シナリオに適用可能な、頑健でエンドツーエンドでトレーニング可能な局在フレームワークを構築すること。

提案手法

• 本手法は、複数の層間でのマルチスケール特徴の保存と伝達を可能にする、密度結合型エンコーダデコーダ特徴ピラミッドネットワーク（DC-FPN）をバックボーンとして採用する。
• 複数のピラミッドレベルからの特徴マップに勾配ベースのクラス活性化マッピング（Grad-CAM）を適用し、スケール固有のCAMを生成する。
• マルチスケールのCAMはアップサンプリングされ、要素ごとの平均化により統合され、入力画像解像度に一致する最終的なPG-CAMが得られる。
• 密接なスキップ接続により特徴の劣化が防止され、深層部においても低レベルの詳細が保持される。
• エンドツーエンドでトレーニング可能であり、画像ラベルのみを用いるため、弱教師付き学習が可能である。
• 最終的なPG-CAMは、病変に対応する高活性化領域を特定することで、腫瘍の局在に用いられる。

実験結果

リサーチクエスチョン

• RQ1 階層的CNNアーキテクチャからのマルチスケール特徴マップは、弱教師付き設定下での腫瘍局在精度を向上させることができるか？
• RQ2 異なる特徴ピラミッドレベルからの勾配ベースCAMの統合は、局在精度と境界の詳細にどのような影響を及ぼすか？
• RQ3 標準の残差ネットワークと比較して、密度結合型特徴ピラミッドネットワークは、特徴の保持と局在のロバストネスをどの程度向上させるか？
• RQ4 PG-CAMは、強力なアノテーションを必要とせずに、標準のGrad-CAMを上回る性能を達成できるか？

主な発見

• PG-CAMはメンインジオーマMRIバリデーションセットにおいて、標準のGrad-CAMよりも23パーセンテージポイントの局在精度の向上を達成した。
• 異なるピラミッドレベルからのマルチスケールCAMの使用（特にスケール1およびスケール4）により、腫瘍の形状と境界の特徴がよりよく把握された。
• PG-CAMは224×224のフル解像度の活性化マップを生成し、単一スケールのGrad-CAMでは失われる微細な詳細を保持した。
• DC-FPNにおける密接接続機構により、深層ネットワークの深さにもかかわらず、低レベル特徴が効果的に保持され、局在のロバストネスが向上した。
• 可視化結果から、異なるスケールが異なる活性化パターンを捉えていることが示された：細粒度のマップは腫瘍領域に注目し、粗粒度のマップは構造的文脈を強調した。
• 分類精度は高い水準を維持しながらも、局在性能が顕著に向上したため、弱教師付き医療画像解析において本手法の有効性が示された。