[논문 리뷰] Human-interpretable model explainability on high-dimensional data

Damien de Mijolla, Christopher Frye외 3명|arXiv (Cornell University)|2020. 10. 14.

Explainable Artificial Intelligence (XAI)참고 문헌 59인용 수 7

한 줄 요약

이 논문은 고차원 데이터에 대한 인간이 이해할 수 있는 설명 가능성 프레임워크를 제안한다. 먼저 고주파수 변환, 분리 표현 또는 이미지-이미지 번역과 같은 방법을 사용해 원시 입력을 저차원의 의미 있는 잠재 공간으로 매핑한 후, 이러한 해석 가능한 특징을 기반으로 예측을 설명하기 위해 셰플리 값(Shapley values)을 적용한다. 이 방법은 이론적으로 타당하고 계산적으로 실현 가능하며 사용자도 이해할 수 있는 설명을 복잡한 모델(예: 이미지 분류에 사용되는 모델)에 적용할 수 있다.

ABSTRACT

The importance of explainability in machine learning continues to grow, as both neural-network architectures and the data they model become increasingly complex. Unique challenges arise when a model's input features become high dimensional: on one hand, principled model-agnostic approaches to explainability become too computationally expensive; on the other, more efficient explainability algorithms lack natural interpretations for general users. In this work, we introduce a framework for human-interpretable explainability on high-dimensional data, consisting of two modules. First, we apply a semantically meaningful latent representation, both to reduce the raw dimensionality of the data, and to ensure its human interpretability. These latent features can be learnt, e.g. explicitly as disentangled representations or implicitly through image-to-image translation, or they can be based on any computable quantities the user chooses. Second, we adapt the Shapley paradigm for model-agnostic explainability to operate on these latent features. This leads to interpretable model explanations that are both theoretically controlled and computationally tractable. We benchmark our approach on synthetic data and demonstrate its effectiveness on several image-classification tasks.

연구 동기 및 목표

• 고차원 데이터에 대한 모델 설명을 계산적으로 실현 가능하고 인간이 이해할 수 있도록 하는 데 도전하는 것.
• 기존의 모델에 종속적이지 않은 설명 방법들이 제공하는 직관적이지 않은, 고차원의 설명(예: 픽셀 수준의 샐런시 맵)의 한계를 극복하는 것.
• 원시 입력 특징이 아닌 의미 있는 개념을 기반으로 모델 예측을 설명할 수 있는 융통성 있고 원칙적인 방법을 개발하는 것.
• 이론적으로 타당한 셰플리 프레임워크를 사용자 정의의 저차원 의미 특징 공간과 통합하여 설명 가능성의 향상을 이루는 것.
• 실제 세계 및 합성 데이터를 포함한 다양한 이미지 분류 벤치마크에서 이 방법의 효과성을 입증하는 것.

제안 방법

• 고주파수 변환, 분리 표현 또는 이미지-이미지 번역과 같은 사용자 정의 또는 학습된 표현 방식을 사용해 고차원 원시 입력을 저차원의 의미 있는 잠재 공간으로 변환하는 것.
• 잠재 특징에 대해 모델에 종속적이지 않은 접근 방식으로 셰플리 값을 계산하여 이론적 일관성과 특징 간 상호작용을 포괄하는 것.
• 재학습이 필요 없이도 의미 특징을 추출할 수 있도록 기존의 사전 훈련된 모델과 표준 구성 요소(예: VAE, GAN, 또는 디퓨전 모델)를 활용하는 것.
• 잠재 공간에 셰플리 프레임워크를 적용하여 각 의미 특징이 모델 예측에 기여하는 정도를 정량화하는 것.
• 지식 기반의 진짜 특징이 있는 합성 데이터와 CelebA, MNIST, CIFAR-10, ImageNet, Describable Textures 등의 실제 데이터셋을 사용해 방법을 검증하는 것.
• 특징 이동과 반사적 평가를 통해 설명이 설명 방법의 잡음이 아니라 실제 모델 행동을 반영하고 있는지 확인하는 것.

실험 결과

연구 질문

• RQ1 원시 입력 특징을 의미 있는 잠재 특징으로 대체함으로써 고차원 데이터에 대한 인간이 이해할 수 있는 모델 설명을 달성할 수 있는가?
• RQ2 낮은 차원의 의미 특징 공간에 셰플리 프레임워크를 적용함으로써 이론적 엄밀성은 유지하면서 계산의 실현 가능성이 향상되는가?
• RQ3 고주파수, 분리 표현, 이미지 번역과 같은 의미 특징을 학습하거나 정의하는 다양한 방법이 설명의 품질과 해석 가능성에 어떤 영향을 미치는가?
• RQ4 특히 미세하거나 인지하기 어려운 특징을 포함한 경우, 설명이 실제 모델 행동을 어느 정도 반영하는가?
• RQ5 이 프레임워크는 성별 또는 연령과 관련된 모델 편향(예: 매력도 예측에서의 편향)을 탐지하고 설명할 수 있는가?

주요 결과

• 이 방법은 CelebA 데이터셋에서 성별, 연령, 헤어 컬러와 같은 의미 있는 특징을 기반으로 모델 예측을 성공적으로 설명했으며, 특히 성별이 매력도 예측에 강력한 영향을 미친 것으로 드러났다.
• 여성은 남성보다 매력도로 평가될 가능성이 두 배 이상 높았고, 이는 셰플리 설명을 통해 명확히 포착되었다.
• 시각적으로 거의 변화가 없는 특징(예: '젊음' 속성)조차도 예측에 상당한 영향을 미치는 것으로 확인되었으며, 이는 잠재 공간 이동을 통한 모델 평가로 확인되었다.
• MNIST, CIFAR-10, ImageNet 및 Describable Textures를 포함한 다양한 데이터셋에서 표준 모델을 사용해도 이 방법은 강건성과 해석 가능성을 보였다.
• 픽셀 수준의 샐런시 맵보다도 의미 특징 기반 설명이 더 해석 가능했으며, 이는 예측을 저수준 패턴이 아닌 고수준 개념과 직접 연결했기 때문이다.
• 이 프레임워크는 비트리비어러스한 종속성도 효과적으로 포착했으며, 남성 대상에서 '젊음' 속성에 대해 음수의 국소 셰플리 값이 관찰되어 데이터상에서 청소년 연령이 반대 예측과 관련이 있음을 시사했다.