[논문 리뷰] Negative Evidence Matters in Interpretable Histology Image Classification

Soufiane Belharbi, Marco Pedersoli외 3명|arXiv (Cornell University)|2022. 01. 07.

AI in cancer detection인용 수 6

한 줄 요약

이 논문은 이미지 수준 레이블 외에 추가 애너테이션을 필요로 하지 않고, 클래스 활성화 맵(CAM)에서 유도된 정확한 증거와 훈련 데이터로부터의 완전히 부정적인 샘플을 복합 손실을 통해 활용함으로써 해석 가능한 조직학적 이미지 분류를 위한 약한 지도 학습 방법 NEGEV를 제안한다. 디코더를 통해 두 유형의 증거를 모두 활용하여 예측을 개선함으로써, NEGEV는 GlaS 및 Camelyon16 벤치마크에서 정밀한 국소화 정확도를 크게 향상시키며, 추가적인 애너테이션 없이도 최신 기술을 초월한다.

ABSTRACT

Using only global image-class labels, weakly-supervised learning methods, such as class activation mapping, allow training CNNs to jointly classify an image, and locate regions of interest associated with the predicted class. However, without any guidance at the pixel level, such methods may yield inaccurate regions. This problem is known to be more challenging with histology images than with natural ones, since objects are less salient, structures have more variations, and foreground and background regions have stronger similarities. Therefore, computer vision methods for visual interpretation of CNNs may not directly apply. In this paper, a simple yet efficient method based on a composite loss is proposed to learn information from the fully negative samples (i.e., samples without positive regions), and thereby reduce false positives/negatives. Our new loss function contains two complementary terms: the first exploits positive evidence collected from the CNN classifier, while the second leverages the fully negative samples from training data. In particular, a pre-trained CNN is equipped with a decoder that allows refining the regions of interest. The CNN is exploited to collect both positive and negative evidence at the pixel level to train the decoder. Our method called NEGEV benefits from the fully negative samples that naturally occur in the data, without any additional supervision signals beyond image-class labels. Extensive experiments show that our proposed method can substantial outperform related state-of-art methods on GlaS (public benchmark for colon cancer), and Camelyon16 (patch-based benchmark for breast cancer using three different backbones). Our results highlight the benefits of using both positive and negative evidence, the first obtained from a classifier, and the other naturally available in datasets.

연구 동기 및 목표

• 픽셀 수준의 지도 학습이 부족하여 약한 지도 학습 조직학적 이미지 분류에서 국소화가 정확하지 않은 문제를 해결하기 위해.
• CAM에서 유도된 정확한 증거와 자연스럽게 존재하는 부정적 샘플을 함께 활용하여 모델의 해석 가능성 향상하기 위해.
• 밀도 있는 애너테이션이나 추가 지도 신호 없이도 ROI 국소화에서 오진 양성 및 오진 음성 감소시키기 위해.
• 이미지 수준 레이블에서 유도된 정확한 증거와 부정적 증거를 모두 포함하는 단순하지만 효과적인 손실 함수 개발하기 위해.

제안 방법

• 사전 학습된 CNN 분류기를 사용하여 CAM을 생성함으로써 관심 영역에 대한 정확한 증거를 제공한다.
• 동일한 CAM에서 유도된 정확한 증거와 부정적 증거를 모두 활용하여 세그멘테이션 예측을 개선하기 위해 디코더 네트워크를 학습한다.
• 복합 손실 함수는 두 항을 조합함: 하나는 CAM 활성도에서 유도된 정확한 증거를 위한 항, 다른 하나는 정확한 영역이 없는 이미지에서 유도된 완전히 부정적인 샘플을 위한 항.
• 분류기는 고정하고 디코더만 업데이트하는 방식으로, 분류기 고정 상태에서 디코더만 학습함으로써 엔드 투 엔드로 모델을 훈련한다.
• 훈련 중에 각 이미지당 전경 및 배경 픽셀을 무작위로 샘플링하여 다양한 영역 탐색한다.
• 이 방법은 경계 상자, 스케치, 영역 크기 등의 추가 애너테이션을 필요로 하지 않으며, 이미지 수준 레이블만 필요로 한다.

실험 결과

연구 질문

• RQ1 완전히 부정적인 샘플을 활용하면 약한 지도 학습 조직학적 이미지 분류에서 국소화 성능 향상이 가능한가?
• RQ2 CAM에서 유도된 정확한 증거와 완전히 부정적인 이미지에서 유도된 부정적 증거를 함께 조합하면 모델의 해석 가능성과 정확도에 어떤 영향을 미치는가?
• RQ3 정확한 증거와 부정적 증거를 모두 포함하는 복합 손실 함수가 기존의 약한 지도 학습 방법보다 조직학 벤치마크에서 더 나은 성능을 내는가?
• RQ4 이미지 수준 레이블만을 사용하는 단순한 엔드 투 엔드 훈련 전략이 병리학적 이미지의 ROI 국소화에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• VGG 백본을 사용하여 GlaS 벤치마크에서 NEGEV는 81.3% PxAP를 달성하여 이전 최신 기술보다 1.4% 포인트 높은 성능을 보였다.
• ResNet 백본을 사용하여 Camelyon16에서 NEGEV는 82.7% PxAP를 달성하여 이전 최신 기술보다 1.4% 포인트 높은 성능을 보였다.
• 절단 실험 결과, 정확한 증거와 부정적 증거를 모두 사용할 경우 정확한 증거만 사용할 경우보다 PxAP가 5.2% 향상됨을 확인하였다.
• 국소화 성능을 크게 향상시키는 동안에도 높은 이미지 분류 정확도(81.3% on GlaS 및 72.4% on Camelyon16)를 유지하였다.
• 절단 실험 결과, λ = 1인 복합 손실이 최고의 성능을 내며, λ를 감소시키면 성능 저하됨을 확인하여 두 손실 항의 균형 조절의 중요성을 입증하였다.
• 시각화 결과, NEGEV는 CAM 및 U-Net 기반 CAM보다 더 정확하고 국소화가 뚜렷한 히트맵을 생성함을 확인하였으며, 특히 진짜 ROI를 배경 영역과 구분하는 데 뛰어난 성능을 보였다.