[論文レビュー] Negative Evidence Matters in Interpretable Histology Image Classification

Soufiane Belharbi, Marco Pedersoli+3 more|arXiv (Cornell University)|Jan 7, 2022

AI in cancer detection被引用数 6

ひとこと要約

この論文では、画像ラベルのみを用いて、クラス活性化マップ（CAM）からの陽性証拠と、トレーニングデータからの完全な陰性サンプルを組み合わせた複合損失を用いる弱教師あり学習手法NEGEVを提案する。デコーダーを陽性および陰性の両方の証拠で訓練することで予測を精緻化し、GlaSおよびCamelyon16ベンチマークにおいて、ピクセルレベルのアノテーションを追加で必要とせずに、最先端の手法を上回る局在化精度を大幅に向上させる。

ABSTRACT

Using only global image-class labels, weakly-supervised learning methods, such as class activation mapping, allow training CNNs to jointly classify an image, and locate regions of interest associated with the predicted class. However, without any guidance at the pixel level, such methods may yield inaccurate regions. This problem is known to be more challenging with histology images than with natural ones, since objects are less salient, structures have more variations, and foreground and background regions have stronger similarities. Therefore, computer vision methods for visual interpretation of CNNs may not directly apply. In this paper, a simple yet efficient method based on a composite loss is proposed to learn information from the fully negative samples (i.e., samples without positive regions), and thereby reduce false positives/negatives. Our new loss function contains two complementary terms: the first exploits positive evidence collected from the CNN classifier, while the second leverages the fully negative samples from training data. In particular, a pre-trained CNN is equipped with a decoder that allows refining the regions of interest. The CNN is exploited to collect both positive and negative evidence at the pixel level to train the decoder. Our method called NEGEV benefits from the fully negative samples that naturally occur in the data, without any additional supervision signals beyond image-class labels. Extensive experiments show that our proposed method can substantial outperform related state-of-art methods on GlaS (public benchmark for colon cancer), and Camelyon16 (patch-based benchmark for breast cancer using three different backbones). Our results highlight the benefits of using both positive and negative evidence, the first obtained from a classifier, and the other naturally available in datasets.

研究の動機と目的

• ピクセルレベルの監視が不足することで生じる弱教師ありヒストロロジー画像分類における局在化の不正確さを是正すること。
• CAMからの陽性証拠と自然に存在する陰性サンプルを併用することで、モデルの解釈可能性を向上させること。
• 密なアノテーションや追加の監視信号を必要とせずに、ROI局在化における誤検出（偽陽性・偽陰性）を低減すること。
• 画像ラベルからの陽性および陰性証拠を統合するシンプルで効果的な損失関数の開発

提案手法

• 事前学習済みのCNN分類器を用いてCAMを生成し、関心領域のための陽性証拠を提供する。
• 同じCAMから得られる陽性および陰性証拠を用いて、セグメンテーション予測を精緻化するデコーダーネットワークを訓練する。
• 2つの項を組み合わせた複合損失関数を用いる：1つはCAM活性からの陽性証拠、もう1つは陽性領域のない画像からの完全な陰性サンプル。
• 分類器を固定したまま、デコーダーのみを更新するエンドツーエンドの訓練戦略を採用する。
• トレーニング中に画像ごとに前景および背景ピクセルをランダムにサンプリングし、多様な領域を探索する。
• 本手法は画像ラベルのみを必要とし、ボックス、スクラッチ、領域サイズなどの追加アノテーションを必要としない。

実験結果

リサーチクエスチョン

• RQ1 完全な陰性サンプルを活用することで、弱教師ありヒストロロジー画像分類における局在化性能が向上するか？
• RQ2 CAMからの陽性証拠と完全な陰性画像からの陰性証拠を併用することで、モデルの解釈可能性と精度にどのような影響を与えるか？
• RQ3 陽性および陰性証拠を統合する複合損失関数は、既存の弱教師あり手法を上回る性能を示すか？
• RQ4 画像ラベルのみを用いたシンプルでエンドツーエンドの訓練戦略が、ヒストパスロジー画像のROI局在化において最先端の性能を達成できるか？

主な発見

• VGGバックボーンを用いたGlaSベンチマークでは、NEGEVが81.3%のPxAPを達成し、前回のSOTA手法を1.4ポイント上回った。
• ResNetバックボーンを用いたCamelyon16では、NEGEVが82.7%のPxAPを達成し、前回のSOTAを1.4ポイント上回った。
• アブレーションスタディの結果、陽性および陰性証拠の両方を用いることで、陽性証拠のみを用いた場合に比べてPxAPが5.2%向上した。
• 局在化性能を顕著に向上させながらも、画像分類精度は高い水準を維持しており（GlaSで81.3%、Camelyon16で72.4%）、良好なトレードオフを実現した。
• アブレーションスタディにより、λ = 1の複合損失が最良の性能を示し、λを低下させると性能が劣化することが確認され、両損失項のバランスの重要性が示された。
• 可視化結果から、NEGEVはCAMやU-NetベースのCAMに比べ、真のROIと背景領域をより正確に局在化する熱マップを生成していることがわかった。