[논문 리뷰] ProtoPShare: Prototype Sharing for Interpretable Image Classification and Similarity Discovery

Dawid Rymarczyk, Łukasz Struski외 2명|arXiv (Cornell University)|2020. 11. 29.

Explainable Artificial Intelligence (XAI)참고 문헌 43인용 수 14

한 줄 요약

ProtoPShare는 데이터에 의존하는 유사도를 사용하여 서로 다른 클래스 간에 의미적으로 유사한 원형 부분을 융합함으로써 모델 복잡성을 줄이는 해석 가능한 이미지 분류에서 원형 공유 메커니즘을 도입한다. 이 방법은 해석 가능성 향상, 변형에 대한 강건성 향상, 그리고 클래스 간 유사성 탐색을 가능하게 하여 ProtoPNet에 비해 원형 효율성과 일관성에서 뛰어나면서도 높은 정확도를 유지한다.

ABSTRACT

In this paper, we introduce ProtoPShare, a self-explained method that incorporates the paradigm of prototypical parts to explain its predictions. The main novelty of the ProtoPShare is its ability to efficiently share prototypical parts between the classes thanks to our data-dependent merge-pruning. Moreover, the prototypes are more consistent and the model is more robust to image perturbations than the state of the art method ProtoPNet. We verify our findings on two datasets, the CUB-200-2011 and the Stanford Cars.

연구 동기 및 목표

• ProtoPNet에서 원형 수가 많아져 해석 가능성과 모델 효율성이 떨어지는 문제를 해결하기 위해.
• 의미적으로 유사한 원형이 표현 공간에서 가까이 있도록 하여 모델의 강건성을 향상시키기 위해.
• 다른 이미지 카테고리 간에 공유 원형을 통해 클래스 간 유사성을 탐색할 수 있도록 하기 위해.
• 대부분 표현 공간에서 떨어져 있을지라도 의미적으로 유사한 원형을 식별할 수 있는 데이터에 의존하는 유사도 측정 방법을 개발하기 위해.
• CUB-200-2011 및 Stanford Cars 데이터셋에서 정량적 평가와 사용자 연구를 통해 방법을 검증하기 위해.

제안 방법

• ProtoPShare는 전용 원형을 사용한 초기 훈련과 그 후에 이어지는 융합-정규화 단계를 포함하는 이단계 훈련 과정을 사용한다.
• 융합-정규화 단계는 서로 다른 클래스에서 의미적으로 유사한 원형을 식별하고 융합하기 위해 데이터에 의존하는 유사도 측정 방법을 사용한다.
• 데이터에 의존하는 유사도 측정 방법은 표현 공간 내 유클리드 거리 외에도 이미지 간 활성화 패턴을 기반으로 유사도를 계산한다.
• 원형은 클래스 간으로 공유되어 ProtoPNet 대비 최대 세 배까지 총 원형 수를 감소시킨다.
• 이 방법은 공유 원형을 여러 클래스에 연결하는 원형 레이어를 활용하여 다중 클래스 해석을 가능하게 한다.
• 사용자 연구를 통해 데이터에 의존하는 유사도가 유클리드 거리에 비해 더 일관된 인지적 일관성을 보임을 검증하였다.

실험 결과

연구 질문

• RQ1 클래스 간 원형 공유가 원형 수를 줄이면서도 모델 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 특히 표현 공간에서 떨어져 있을 경우, 데이터에 의존하는 유사도가 의미적으로 유사한 원형을 식별하는 데에 유클리드 거리보다 더 우수한가?
• RQ3 공유 원형을 통해 의미 있는 클래스 간 유사성 탐색(예: 클러스터링 또는 그래프 기반의 클래스 관계 시각화)이 가능할 수 있는가?
• RQ4 원형 병합-정규화 후의 표현이 원래 ProtoPNet에 비해 이미지 변형에 더 강건한가?
• RQ5 사용자들은 데이터에 의존하는 유사도가 원형 비교에서 거리 기반 유사도보다 더 일관된 인식을 제공하는가?

주요 결과

• ProtoPShare는 ProtoPNet 대비 원형 수를 최대 세 배까지 감소시켜 해석 가능성 향상에 기여한다.
• 모델은 높은 정확도를 유지하면서도 이미지 변형에 대한 강건성이 향상되었으며, 정규화 후에 정확히 분류된 이미지 패치 비율이 높아졌다.
• 사용자 연구를 통해 데이터에 의존하는 유사도 측정 방법이 표현 공간에서 떨어져 있을지라도 의미적으로 유사한 원형을 성공적으로 식별함을 확인하였다.
• 285명의 응답을 포함한 사용자 연구에서 195명이 데이터에 의존하는 유사도를 유클리드 거리보다 선호하여 더 뛰어난 인지적 일관성을 보임을 입증하였다.
• 이 방법은 그래프 기반 표현을 통해 효과적인 클래스 간 유사성 시각화를 가능하게 하였으며, 공유 원형이 클래스 간 관계를 나타내며 예를 들어 Audi S5 Coupe와 Audi S5 Convertible 간에 네 개의 원형을 공유함을 보여주었다.
• 융합-정규화 과정은 모델 용량을 유지하는 데 더 효과적이었으며, 정규화 단계 동안 진짜 클래스에 할당된 패치 비율이 일관되게 증가하는 것으로 나타났다.