[논문 리뷰] Concept Activation Regions: A Generalized Framework For Concept-Based Explanations

Jonathan Crabbé, Mihaela van der Schaar|arXiv (Cornell University)|2022. 09. 22.

Explainable Artificial Intelligence (XAI)인용 수 16

한 줄 요약

이 논문은 개념 활성화 영역(CAR)을 도입하며, 기존 CAV의 선형 분리 가정을 일반화한 프레임워크를 제안한다. 이는 커널 기반 서포트 벡터 분류기를 사용해 깊이 신경망의 잠재 공간 내 개념을 영역으로 모델링함으로써 이루어진다. CAR는 설명 정확도를 향상시키고 인간의 개념 주석과 더 잘 일치시키며, 의미 있는 개념 기반 특성 중요도를 제공함으로써 전립선암 등급화와 같은 과학적 개념을 재발견할 수 있음을 보여준다.

ABSTRACT

Concept-based explanations permit to understand the predictions of a deep neural network (DNN) through the lens of concepts specified by users. Existing methods assume that the examples illustrating a concept are mapped in a fixed direction of the DNN's latent space. When this holds true, the concept can be represented by a concept activation vector (CAV) pointing in that direction. In this work, we propose to relax this assumption by allowing concept examples to be scattered across different clusters in the DNN's latent space. Each concept is then represented by a region of the DNN's latent space that includes these clusters and that we call concept activation region (CAR). To formalize this idea, we introduce an extension of the CAV formalism that is based on the kernel trick and support vector classifiers. This CAR formalism yields global concept-based explanations and local concept-based feature importance. We prove that CAR explanations built with radial kernels are invariant under latent space isometries. In this way, CAR assigns the same explanations to latent spaces that have the same geometry. We further demonstrate empirically that CARs offer (1) more accurate descriptions of how concepts are scattered in the DNN's latent space; (2) global explanations that are closer to human concept annotations and (3) concept-based feature importance that meaningfully relate concepts with each other. Finally, we use CARs to show that DNNs can autonomously rediscover known scientific concepts, such as the prostate cancer grading system.

연구 동기 및 목표

• 잠재 공간 내 개념 긍정 및 부정 예제의 선형 분리 가정을 내포하는 기존 개념 활성화 벡터(CAV)의 한계를 해결하기 위해.
• 잠재 공간 내 단일 방향이 아닌 공간적 영역으로 개념을 모델링하는 더 유연하고 일반화된 프레임워크를 개발하기 위해.
• 개념 간의 의미 있는 관계를 반영하는 전역 개념 설명 및 국소적 개념 기반 특성 중요도를 제공하기 위해.
• 잠재 공간 등장사상에 대해 불변성을 확보하여 설명의 강건성과 일관성을 향상시키기 위해.
• CAR가 개념 의미를 더 잘 포착하고 인간 주석과 일치시키며 과학적 개념을 자동으로 재발견할 수 있음을 경험적으로 검증하기 위해.

제안 방법

• CAV의 선형 분류기 대신 커널 기반 서포트 벡터 분류기(SVC)를 도입하여 잠재 공간 내 개념 경계를 비선형 영역으로 모델링하기 위해.
• 반경 기반 함수(RBF) 커널을 사용해 개념 활성화 영역(CARs)을 정의함으로써 산산이 흩어지거나 군집된 개념 예제를 모델링할 수 있도록 하기 위해.
• RBF 커널 기반 SVC의 출력을 TCAR 점수로 정의하여 표현이 특정 개념을 얼마나 활성화하는지 정도를 측정하기 위해.
• 기존 시각화 방법과 CAR을 통합하여 특정 개념과 관련된 특징을 강조하는 개념 기반 시각화 지도를 생성하기 위해.
• RBF 커널을 사용할 경우 CAR 설명이 잠재 공간 등장사상에 대해 불변임을 증명하여 기하학적 일관성을 확보하기 위해.
• 실세계 데이터셋(MNIST, ECG, CUB)에 CAR를 적용하고 CAV 및 일반 시각화 지도와 비교하여 성능과 인간 주석 일치도를 평가하기 위해.

실험 결과

연구 질문

• RQ1 CAV의 선형 분리 가정을 초월해 잠재 공간 내 개념을 영역으로 모델링함으로써 개념 기반 설명 프레임워크가 일반화될 수 있는가?
• RQ2 CAR에서 커널 기반 SVC를 사용할 경우 CAV에 비해 전역 개념 설명의 정확도와 인간 주석 일치도가 어떻게 향상되는가?
• RQ3 CAR 기반 시각화 지도가 일반 시각화 지도와 비교해 서로 대체 불가능한 의미 있는 특성 중요도를 어떻게 다른 개념에 대해 드러내는가?
• RQ4 CAR 프레임워크는 잠재 공간 등장사상에 대해 불변인가? 이는 기하학적으로 동일한 표현 간 일관성 있는 설명을 보장하는가?
• RQ5 CAR는 모델 표현에서 기존 알려진 과학적 개념, 예를 들어 전립선암 등급화 체계를 자동으로 재발견할 수 있는가?

주요 결과

• Figure 11과 12의 10개 랜덤 시드 박스플롯을 통해 CAR는 MNIST 및 ECG 개념에서 CAV보다 높은 개념 분류 정확도를 달성한다.
• Figure 13과 14의 MNIST 및 CUB 데이터셋 분석을 통해 전역 CAR 설명은 CAV보다 인간의 개념 주석과 더 잘 일치한다.
• Figure 15–19를 통해 CAR를 통해 생성된 개념 기반 시각화 지도는 일반 시각화 지도와 구별되며, 서로 다른 개념 간에 상호 교환 가능하지 않다.
• RBF 커널을 사용할 경우 CAR 기반 설명은 잠재 공간 등장사상에 대해 불변성을 유지함으로써 기하학적 강건성을 입증한다.
• CAR는 DNN 내 전립선암 등급화 체계를 성공적으로 식별하고 설명함으로써 기존 알려진 과학적 개념을 자동으로 재발견할 수 있음을 보여준다.