[논문 리뷰] Label-Free Explainability for Unsupervised Models

Jonathan Crabbé, Mihaela van der Schaar|arXiv (Cornell University)|2022. 03. 03.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 레이블이 없는 조건에서 잠재 표현을 해석할 수 있도록, 사후적 특성 및 예제 중요도 기법을 확장하여 레이블이 없는 비지도 모델에 대한 레이블 없는 해석 가능성(Explainability)을 제안한다. 특성의 영향을 정량화하기 위해 선명도 엔트로피(saliency entropy)와 기여 비율(attribution proportions)을 제안하며, 이는 더 높은 분리도(disentanglement)가 선명도 엔트로피를 감소시켜, MNIST 및 dSprites 데이터셋에서 오토인코더의 더 집중적이고 해석 가능한 표현을 나타낸다.

ABSTRACT

Unsupervised black-box models are challenging to interpret. Indeed, most existing explainability methods require labels to select which component(s) of the black-box's output to interpret. In the absence of labels, black-box outputs often are representation vectors whose components do not correspond to any meaningful quantity. Hence, choosing which component(s) to interpret in a label-free unsupervised/self-supervised setting is an important, yet unsolved problem. To bridge this gap in the literature, we introduce two crucial extensions of post-hoc explanation techniques: (1) label-free feature importance and (2) label-free example importance that respectively highlight influential features and training examples for a black-box to construct representations at inference time. We demonstrate that our extensions can be successfully implemented as simple wrappers around many existing feature and example importance methods. We illustrate the utility of our label-free explainability paradigm through a qualitative and quantitative comparison of representation spaces learned by various autoencoders trained on distinct unsupervised tasks.

연구 동기 및 목표

• 잠재 표현에 의미 있는 레이블이 없기 때문에 비지도 및 자기지도 모델의 해석 가능성 부족 문제를 해결하기 위해.
• 원래는 지도 학습 환경에서 설계된 사후적 설명 기법을 레이블이 없는 비지도 환경으로 확장하기 위해.
• 출력 레이블이 존재하지 않는 표현 공간에서 특성 및 예제 중요도 분석을 가능하게 하기 위해.
• 모델 입력과 잠재 활성화값만을 사용하여 블랙박스 표현을 해석하기 위한 원칙적이고 일반화 가능한 프레임워크를 제공하기 위해.

제안 방법

• 기울기 기반 선명도 맵을 통해 각 잠재 유닛에 대한 입력 특성의 기여 점수를 계산하여 레이블 없는 특성 중요도를 제안한다.
• 잠재 유닛 간 중요도를 정규화하기 위해 기여 비율 $ p_j(i,\boldsymbol{x}) = \frac{|a_i(\mu_j,\boldsymbol{x})|}{\sum_{k=1}^{d_H}|a_i(\mu_k,\boldsymbol{x})|} $ 를 정의한다.
• 특성의 민감도 분포를 측정하기 위해 선명도 엔트로피 $ S(i,\boldsymbol{x}) = -\sum_{j=1}^{d_H} p_j(i,\boldsymbol{x}) \ln p_j(i,\boldsymbol{x}) $ 를 도입한다.
• 엔트로피를 해석 가능성의 대체 지표로 사용한다: 낮은 엔트로피는 각 특성에 대해 하나의 주요 잠재 유닛에만 민감도가 집중되어 있음을 나타내며, 이는 분리도 명확성을 향상시킨다.
• variational autoencoders (VAEs)에 프레임워크를 적용하여 $\beta$ 분리도 하이퍼파rameter를 변화시키며 MNIST 및 dSprites에서 학습한다.
• 시험 데이터와 특성 전체에 걸쳐 평균 선명도 엔트로피를 계산하기 위해 경험적 기대값 $ \mathbb{E}_{\boldsymbol{X},I}[S(I,\boldsymbol{X})] $ 를 활용한다.

실험 결과

연구 질문

• RQ1 비지도 표현 학습에서 레이블이 없을 경우 특성 중요도는 어떻게 의미적으로 정의하고 계산할 수 있는가?
• RQ2 레이블이 존재하지 않는 잠재 공간에서 선명도 엔트로피가 해석 가능성에 대한 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ3 VAE에서 분리도를 높일수록 기여 엔트로피가 감소함으로써 더 집중적이고 해석 가능한 특성 표현이 되는가?
• RQ4 기존의 사후적 설명 방법은 수정 없이도 레이블이 없는 환경으로 얼마나 일반화되는가?

주요 결과

• 분리도 강도 $\beta$ 가 증가함에 따라 선명도 엔트로피가 감소하여, 특성의 민감도가 더 적은 잠재 유닛에 집중됨을 나타낸다.
• MNIST에서는 $\beta$ 와 선명도 엔트로피 사이의 스피어만 상관계수는 $\rho = -0.56$ 로 강한 음의 상관관계를 보인다.
• dSprites에서는 상관계수는 $\rho = -0.76$ 로, 더 높은 $\beta$ 에서 엔트로피 감소가 더욱 두드러져 해석 가능성 향상이 더 뚜렷하다.
• 잠재 유닛 간 상관관계가 높은 상황에서도 $\beta$ 를 증가시키면 각 특성에 대해 동시에 활성화되는 유닛 수가 감소하여 엔트로피가 낮아진다.
• 엔트로피 값은 대부분 최대값($\ln 3 \approx 1.1$ for MNIST, $\ln 6 \approx 1.8$ for dSprites)에 가까이 유지되어, 대부분의 VAE가 여전히 각 특성에 대해 다수의 유닛을 활성화하고 있음을 시사한다.
• 간단한 워퍼(wrapper)를 통해 기존의 설명 방법을 레이블이 없는 환경으로 성공적으로 확장하여 표현 공간의 정성적·정량적 분석을 가능하게 하였다.