[논문 리뷰] This Looks Like Those: Illuminating Prototypical Concepts Using Multiple Visualizations

Chiyu Ma, Brandon Zhao외 2명|arXiv (Cornell University)|2023. 10. 28.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 프로토타입 기반 이미지 분류에서 해석 가능성성을 향상시키기 위해 단일 이미지 프로토타입을 동일한 원형 개념의 여러 시각화로 대체하는 ProtoConcepts라는 방법을 소개한다. 동일한 학습 패치들 사이에서 공통되는 시각적 특징을 보여줌으로써 모델은 의미론적 의미(예: 색상 또는 형태)를 명확히 하여 인간의 해석 정확도를 크게 향상시키지만, 분류 정확도는 유사하게 유지한다.

ABSTRACT

We present ProtoConcepts, a method for interpretable image classification combining deep learning and case-based reasoning using prototypical parts. Existing work in prototype-based image classification uses a ``this looks like that'' reasoning process, which dissects a test image by finding prototypical parts and combining evidence from these prototypes to make a final classification. However, all of the existing prototypical part-based image classifiers provide only one-to-one comparisons, where a single training image patch serves as a prototype to compare with a part of our test image. With these single-image comparisons, it can often be difficult to identify the underlying concept being compared (e.g., ``is it comparing the color or the shape?''). Our proposed method modifies the architecture of prototype-based networks to instead learn prototypical concepts which are visualized using multiple image patches. Having multiple visualizations of the same prototype allows us to more easily identify the concept captured by that prototype (e.g., ``the test image and the related training patches are all the same shade of blue''), and allows our model to create richer, more interpretable visual explanations. Our experiments show that our ``this looks like those'' reasoning process can be applied as a modification to a wide range of existing prototypical image classification networks while achieving comparable accuracy on benchmark datasets.

연구 동기 및 목표

• 모델의 추론 과정을 이해하는 데 어려움을 주는 단일 이미지 프로토타입 시각화의 모호성을 해결하기 위해.
• 여러 예시 간 공통 특징을 통해 사용자가 의미론적 개념을 유추할 수 있도록 함으로써 프로토타입 기반 이미지 분류기의 해석 가능성성을 향상시키기 위해.
• 시각적 설명의 명확성과 신뢰성을 높이면서도 높은 분류 정확도를 유지하기 위해.
• 다중 시각화 프로토타입이 인간의 모델 결정 해석 성능을 향상시키는지 평가하기 위해.
• 기존의 프로토타입 기반 네트워크에 넓게 적용 가능한 일반화 가능한 방법을 제공하기 위해.

제안 방법

• 이 방법은 단일 이미지 프로토타입을 다수의 훈련 이미지 패치로 구성된 다중패치 시각화로 대체한다. 여기서 각 프로토타입은 동일한 의미적 특징을 공유하는 여러 훈련 이미지 패치로 표현된다.
• 프로토타입은 동일한 클래스의 특징 패치와 유사하고 다른 클래스의 패치와는 이질적이게 훈련되며, 이제는 각 개념에 대해 다수의 예시가 존재한다.
• 동일한 개념의 여러 시각화로부터 유도된 유사도 점수를 집계하는 방식으로 수정된 아키텍처를 사용하여 의사결정의 투명성을 향상시킨다.
• 여러 시각화 간의 공통점(예: 일관된 색상 또는 형태)이 사용자가 분류에 사용되는 의미론적 특징을 유추하는 데 도움이 된다.
• 기존의 프로토타입 네트워크(예: ProtoPNet)와 호환되며, 모듈러한 향상 방법으로 적용할 수 있다.
• 사용자 연구는 아마존 메카니컬 터크를 통해 수행되어 ProtoPNet와 ProtoConcepts 간의 해석 성능를 비교했다.

실험 결과

연구 질문

• RQ1 단일 프로토타입의 다중 시각화가 인간 사용자가 모델 결정을 해석하는 능력을 향상시키는가?
• RQ2 여러 예시 간 공통 시각적 특징을 제공함으로써, 프로토타입이 나타내는 시각적 특성(예: 색상, 형태)에 대한 모호성이 감소하는가?
• RQ3 다중 시각화 프로토타입 접근법이 단일 프로토타입 방법과 유사한 분류 정확도를 유지할 수 있는가?
• RQ4 새로운 방법이 세밀한 이미지 분류 작업에서 비전문가 사용자의 성능을 어느 정도 향상시키는가?
• RQ5 실제 인간 평가에서 ProtoConcepts의 해석 가능성은 ProtoPNet에 비해 어떻게 비교되는가?

주요 결과

• ProtoConcepts의 시각적 설명을 제공받은 사용자들은 평균 정확도 62.1% ± 5.4를 기록했으며, 이는 ProtoPNet 설명을 받은 사용자(51.5% ± 5.2)보다 유의미하게 높았고, p값은 0.003이었다.
• ProtoPNet 설명에 의존한 사용자들은 랜덤 추측 수준 이하의 성능을 보였으며(p = 0.289), 반면 ProtoConcepts 설명을 받은 사용자들은 랜덤 성능을 유의미하게 초월했다(p = 2.85 × 10⁻⁵).
• 사용자 연구에서 품질 검사 통과율은 98%였으며, 비논리적인 답변이 제거된 후 유일한 응답 하나만 제외되었다.
• 두 사용자 그룹 간의 자기 평가 기계학습 경험에 유의미한 차이가 없었으며(p = 1), 공정한 비교가 가능했다.
• 이 방법은 기존의 프로토타입 네트워크와 유사한 분류 정확도를 달성하면서도, 시각적 설명의 해석 가능성성을 크게 향상시켰다.
• 다중 시각화 접근법은 단일 프로토타입 방법보다 의미론적 개념(예: '같은 푸른 색조')을 더 신뢰성 있게 유추할 수 있도록 했다.