[논문 리뷰] Multi-dimensional concept discovery (MCD): A unifying framework with completeness guarantees

Johanna Vielhaben, Stefan Blücher외 1명|arXiv (Cornell University)|2023. 01. 27.

Rough Sets and Fuzzy Logic인용 수 12

한 줄 요약

논문은 다차원 컨셉 발견(MCD) 프레임워크를 소개하여 숨겨진 모델 표현에서 희소 서브스페이스 클러스터링을 사용해 다차원 컨셉을 발견하고, 모델 추론에 대한 완전하고 글로벌 해석 가능 분해를 할당하며, faithful XAI 설명을 위한 컨셉 활성화 맵과 관련성 히트맵을 제공한다.

ABSTRACT

The completeness axiom renders the explanation of a post-hoc XAI method only locally faithful to the model, i.e. for a single decision. For the trustworthy application of XAI, in particular for high-stake decisions, a more global model understanding is required. Recently, concept-based methods have been proposed, which are however not guaranteed to be bound to the actual model reasoning. To circumvent this problem, we propose Multi-dimensional Concept Discovery (MCD) as an extension of previous approaches that fulfills a completeness relation on the level of concepts. Our method starts from general linear subspaces as concepts and does neither require reinforcing concept interpretability nor re-training of model parts. We propose sparse subspace clustering to discover improved concepts and fully leverage the potential of multi-dimensional subspaces. MCD offers two complementary analysis tools for concepts in input space: (1) concept activation maps, that show where a concept is expressed within a sample, allowing for concept characterization through prototypical samples, and (2) concept relevance heatmaps, that decompose the model decision into concept contributions. Both tools together enable a detailed understanding of the model reasoning, which is guaranteed to relate to the model via a completeness relation. This paves the way towards more trustworthy concept-based XAI. We empirically demonstrate the superiority of MCD against more constrained concept definitions.

연구 동기 및 목표

• 지역적 속성해석을 넘어 중요한 의사결정에 대한 글로벌 모델 이해를 촉진한다.
• 다차원 선형 부분공간(D4)과 완전성 관계를 활용하는 일반적이고 충실한 컨셉 정의를 제안한다.
• 다차원 서브스페이스 클러스터링과 PCA를 사용하여 컨셉 서브스페이스를 식별하는 실용적 발견 파이프라인을 개발한다.
• 완전성을 보존하면서 입력 공간에서 컨셉을 분석하기 위한 도구(활성화 맵과 관련성 히트맵)를 제공한다.
• ImageNet 모델에서 제약된 컨셉 정의에 비해 MCD의 우수성을 입증한다.

제안 방법

• 개념을 F차원 은닉 특성 공간에서 d^l 차원의 선형 부분공간 C^l로 정의한다.
• 근접성이나 미리 설정된 차원에 의존하지 않고 특징 벡터를 부분공간으로 클러스터링하기 위해 Sparse Subspace Clustering (SSC)을 사용한다.
• 각 클러스터에 대해 PCA를 통해 컨셉 기저를 구성하고 본질적 서브스페이스 차원 d^l을 결정한다( Fukunaga–Olsen에 의한 휴리스틱).
• 새 샘플의 활성화를 C^⊥라는 직교 여집합을 포함하는 완전한 기저를 통해 컨셉 기여도로 분해한다.
• 입력 공간에서 컨셉 표현을 국한하기 위해 컨셉 활성화 맵을 계산하고, 풀링된 특징을 컨셋 기저에 투영하여 컨셉 관련성 히트맵을 도출한다.
• 개념이 최종 예측을 얼마나 설명하는지(완전성)를 정량화하기 위해 글로벌 컨셉 관련성 점수 η를 정의한다.

실험 결과

연구 질문

• RQ1 다차원 서브스페이스 컨셉이 완전성 보장을 가지고 모델의 추론을 충실히 분해할 수 있는가?
• RQ2 다차원 컨셉은 일반적으로 제약된 정의(D1-D3)보다 더 간결한 글로벌 설명을 가능하게 하는가?
• RQ3 로컬(샘플별)과 글로벌 수준에서 컨셉의 영향을 어떻게 시각화하고 정량화할 수 있는가?
• RQ4 다른 컨셉 발견 변형(MCD-SSC, MCD-kmeans, ICE/MCD-PCA, MCD-SSC-orth)이 완전성 및 충실성에 미치는 영향은 무엇인가?
• RQ5 컨셉 활성화 맵과 관련성 히트맵이 비전 트랜스포머를 포함한 다양한 아키텍처에 적용 가능하며 선형 최종 계층과 호환되는가?

주요 결과

• MCD는 컨셉 관련성으로 최종 예측을 완전히 재구성할 수 있는 완전성 분해를 달성한다.
• 다차원 컨셉은 일반적으로 제약된 정의(D1-D3)보다 더 간결한 설명을 제공한다(주어진 완전성에 도달하는 데 필요한 컨셉 수가 적다).
• 컨셉 활성화 맵은 입력 공간에서 컨셉이 표현되는 위치를 국한하고 해석을 위한 프로토타입과 연결될 수 있다.
• 컨셉 관련성 히트맵은 클래스 로짓을 컨셉 기여도로 분해하며 글로벌 완전성 관계를 보존한다.
• 이 프레임워크는 ImageNet 모델(ResNet-50, ResNet-50v2, Swin-T)에서 시연되며 다양한 컨셉 발견 변형을 지원한다.
• 직교 부분공간(MCD-SSC-orth)은 임의로 회전된 부분공간보다 모델에 덜 충실한 것으로 밝혀졌다.