[논문 리뷰] Sanity checks and improvements for patch visualisation in prototype-based image classification

Romain Xu-Darme, Georges Quénot외 2명|arXiv (Cornell University)|2023. 01. 20.

Cell Image Analysis TechniquesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 ProtoPNet와 ProtoTree와 같은 프로토타입 기반 모델에서 사용하는 패치 시각화 방법에 임계적인 결함이 있음을 밝혀내며, 이러한 방법들이 종종 관련 없는 영역에 주의를 집중시는 경향이 있음을 보여준다. SmoothGrad와 PRP와 같은 시각화 방법을 사용하여, 더 정확한 기여도를 제공함으로써 CUB-200-2011 및 스탠포드 카스와 같은 세분화된 데이터셋에서 잘못된 편향을 줄이고 설명의 신뢰성을 높일 수 있음을 입증한다.

ABSTRACT

In this work, we perform an in-depth analysis of the visualisation methods implemented in two popular self-explaining models for visual classification based on prototypes - ProtoPNet and ProtoTree. Using two fine-grained datasets (CUB-200-2011 and Stanford Cars), we first show that such methods do not correctly identify the regions of interest inside of the images, and therefore do not reflect the model behaviour. Secondly, using a deletion metric, we demonstrate quantitatively that saliency methods such as Smoothgrads or PRP provide more faithful image patches. We also propose a new relevance metric based on the segmentation of the object provided in some datasets (e.g. CUB-200-2011) and show that the imprecise patch visualisations generated by ProtoPNet and ProtoTree can create a false sense of bias that can be mitigated by the use of more faithful methods. Finally, we discuss the implications of our findings for other prototype-based models sharing the same visualisation method.

연구 동기 및 목표

• ProtoPNet와 ProtoTree와 같은 프로토타입 기반 이미지 분류 모델에서 패치 시각화의 신뢰성을 조사하는 것.
• 현재의 시각화 방법이 모델의 주의 집중 및 의사결정 과정을 정확히 반영하는지 평가하는 것.
• 객체 수준의 세그멘테이션 애너테이션을 활용해 더 정확한 관련성 지표를 제안하고 검증하는 것.
• 백본 아키텍처(예: VGG19 대비 ResNet50)가 프로토타입의 정확성과 편향에 미치는 영향을 평가하는 것.
• 유사한 시각화 기법을 사용하는 자기 설명 모델에 대한 광범위한 함의를 제시하는 것.

제안 방법

• 저자들은 시각화 정밀도를 평가하기 위해 두 가지 세분화된 데이터셋인 CUB-200-2011과 Stanford Cars를 사용한다.
• 표준 업샘플링 기반 시각화와 비교하여 시각화 방법으로 SmoothGrad와 PRP(Pruning Relevance Propagation)를 사용한다.
• 지표로는 실제 객체 세그멘테이션 마스크를 활용한 새로운 관련성 지표를 도입하여, 프로토타입과 테스트 패치가 올바른 객체 영역에 집중하고 있는지 평가한다.
• 해당 영역을 제거했을 때 모델의 신뢰도가 얼마나 떨어지는지 측정하는 삭제 지표를 적용하여 설명의 정확성을 정량적으로 평가한다.
• 프로토타입의 관련성과 시각화 품질에 미치는 영향을 평가하기 위해 다양한 백본 아키텍처(VGG19 및 ResNet50)를 평가한다.
• 이 분석은 동일한 시각화 파이프라인을 사용하는 다른 모델들, 예를 들어 ProtoPShare, ProtoPool, Deformable ProtoPNet, TesNet 등으로도 확장된다.

실험 결과

연구 질문

• RQ1 ProtoPNet와 ProtoTree에서 표준 패치 시각화 방법은 테스트 이미지와 프로토타입에서 관심 영역을 정확히 국소화하는가?
• RQ2 SmoothGrad와 PRP와 같은 시각화 기반 방법은 업샘플링에 비해 모델의 실제 의사결정 과정에 더 충실한가?
• RQ3 객체 수준의 세그멘테이션 마스크를 사용할 경우, 프로토타입의 관련성 평가가 향상되고 설명의 잘못된 편향이 얼마나 감소하는가?
• RQ4 백본 아키텍처의 선택(예: VGG19 대비 ResNet50)은 시각화된 패치의 정확성과 신뢰성에 어떤 영향을 미치는가?
• RQ5 ProtoPNet와 ProtoTree에서 관찰된 문제들은 동일한 시각화 파이프라인을 사용하는 다른 프로토타입 기반 모델로 일반화되는가?

주요 결과

• ProtoPNet와 ProtoTree에서 표준 업샘플링 기반 시각화 방법은 배경 영역에 주의를 잘못 집중시키는 경향이 있어, 잘못된 모델 편향의 느낌을 유도한다.
• SmoothGrad와 PRP와 같은 시각화 방법은 훨씬 더 정확한 이미지 패치를 생성하여 잘못된 국소화의 가능성을 줄인다.
• 제안된 세그멘테이션 기반 관련성 지표를 사용할 경우, 업샘플링 방법은 실제 관심 객체 영역과의 일치도가 낮은 반면, PRP와 SmoothGrad는 더 강한 일치를 보인다.
• 삭제 지표 분석을 통해 PRP와 SmoothGrad가 중요한 이미지 영역을 제거했을 때도 더 많은 예측 관련성을 유지함을 확인하여, 더 높은 정확도를 보임을 입증한다.
• 연구 결과 VGG19 기반 모델은 ResNet50 대비 더 높은 비율의 편향된 프로토타입과 테스트 패치를 보이며, 백본 선택에 민감함을 드러낸다.
• 관찰된 결과는 모델 아키텍처 자체보다도 시각화 방법이 잘못된 설명을 유도할 수 있으며, 자기 설명 모델에 대한 신뢰를 훼손할 수 있음을 시사한다.