[논문 리뷰] Patchnet: Interpretable Neural Networks for Image Classification

Adityanarayanan Radhakrishnan, Charles W. Durham외 2명|arXiv (Cornell University)|2017. 05. 23.

Cutaneous Melanoma Detection and Management참고 문헌 29인용 수 5

한 줄 요약

PatchNet는 이미지 분류에서 해석 가능성성을 높이기 위해 작은 이미지 패치를 개별적으로 분석하고 예측을 평균화하여 전반적인 맥락에 대한 의존도를 줄이는 맥락 제한형 신경망 아키텍처이다. CAM 또는 Grad-CAM보다 더 선명하고 국소화된 특징 히트맵을 생성하며, 일반화 오차와 특징 세밀도 사이의 트레이드오프가 있음에도 불구하고 높은 분류 정확도를 유지한다. 특히 의료 영상에서 뛰어난 성능을 발휘한다.

ABSTRACT

Understanding how a complex machine learning model makes a classification decision is essential for its acceptance in sensitive areas such as health care. Towards this end, we present PatchNet, a method that provides the features indicative of each class in an image using a tradeoff between restricting global image context and classification error. We mathematically analyze this tradeoff, demonstrate Patchnet's ability to construct sharp visual heatmap representations of the learned features, and quantitatively compare these features with features selected by domain experts by applying PatchNet to the classification of benign/malignant skin lesions from the ISBI-ISIC 2017 melanoma classification challenge.

연구 동기 및 목표

• 의료와 같은 민감한 도메인에서 딥 네트워크의 해석 가능성 부족 문제를 해결하기 위해.
• CAM 및 Grad-CAM의 한계, 즉 블러링, 공간 맥락의 손실, 전반적 이미지 특징에 대한 과도한 의존도를 해결하기 위해.
• 맥락을 작은 이미지 패치로 제한하여 각 클래스의 구분 가능한 특징를 가능한 한 많이 식별하는 방법을 개발하기 위해.
• 이진 이미지 분류 작업에서 분류 결정에 대한 수학적으로 타당한 국소화된 시각적 설명을 제공하기 위해.
• 실제 의료 데이터셋—ISBI-ISIC 2017에서의 멜라노마 분류—에서 방법의 효과성을 입증하기 위해.

제안 방법

• PatchNet는 입력 이미지를 고정된 크기의 겹치는 패치들(예: 11×11, 17×17, 31×31 픽셀)로 나누며, 각 패치를 독립적인 입력으로 간주한다.
• 각 패치 크기에 대해 별도의 CNN 서브넷을 훈련시어 각 패치 P에 대해 P(y=1|P)를 추정한다.
• 전체 이미지 분류를 위해 이미지 전역에서 모든 패치 예측의 시그모이드 출력을 평균하여, 평균화 추정에서 사용된 곱셈을 피한다.
• 맥락을 제한함으로써 네트워크가 제한된 맥락에서 학습하도록 유도함으로써, 각 클래스의 모든 식별 가능한 특징를 식별하도록 보장한다.
• 전역 및 필터 히트맵을 추출하여 각 클래스에 가장 관련이 깊은 이미지 영역과 특징 맵을 시각화한다.
• 이 방법은 변분 추론과 앙상블 방법에 영감을 받아, 패치 크기 제어를 통해 일반화 오차와 특징 세밀도 사이의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 패치 기반 분류 방법은 의료 영상 분석에서 딥 네트워크의 해석 가능성성을 향상시킬 수 있는가?
• RQ2 작은 이미지 패치로 맥락을 제한할 경우, CAM 및 Grad-CAM과 같은 전역 맥락 기반 방법과 비교해 특징의 국소화 및 명료도는 어떻게 영향을 받는가?
• RQ3 PatchNet은 단일 우세한 특징에 의존하는 것이 아니라, 각 클래스에서 다수의 구분 가능한 특징를 식별할 수 있는 정도는 어느 정도인가?
• RQ4 PatchNet에서 일반화 오차와 특징 세밀도 사이의 트레이드오프는 무엇이며, 패치 크기에 따라 어떻게 변화하는가?
• RQ5 피부 병변 분류에서 PatchNet 히트맵은 전문가가 애너테이션한 특징와 비교해 관련성과 국소화 정도에서 얼마나 우수한가?

주요 결과

• PatchNet는 CAM 및 Grad-CAM보다 더 높은 국소화 정확도를 달성하여 더 선명하고 집중된 히트맵을 생성했으며, 세포핵의 가장자리와 고대비 영역을 정확히 강조했다.
• 모든 패치 크기에서 PatchNet은 NIH/3T3(마우스) 세포핵의 고휘도 대비를 구분 가능한 특징로 정확히 식별했으며, 배경과 함께 흰색으로 강조했다.
• PatchNet의 검증 손실은 패치 크기가 커질수록 감소했다(예: 31×31일 경우 0.074, 11×11일 경우 0.154), 일반화와 맥락 사이의 기대되는 트레이드오프를 확인했다.
• 더 높은 일반화 오차에도 불구하고 PatchNet-11는 검증 정확도 98.2%를 기록했으며, CAM(0.027의 검증 손실이지만 임계값 변동으로 인한 정확도 저하)과 VGG-11(과적합으로 97.0% 정확도)를 초월했다.
• CAM은 가장 낮은 검증 손실(0.027)을 기록했지만, 대부분의 이미지를 클래스 1에 관련 있다고 잘못 표시했으며, 특히 작은 세포핵에서 두드러졌다.
• Grad-CAM의 시각화 결과는 효과적이지 않았으며, 특히 작은 마우스 세포핵에서 배경을 클래스 1의 관련 영역으로 강조하는 경향이 있었는데, 이는 전반적 맥락에 대한 의존도 때문이었다.