[논문 리뷰] Causal Proxy Models for Concept-Based Model Explanations

Zhengxuan Wu, Karel D’Oosterlinck외 3명|arXiv (Cornell University)|2022. 09. 28.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 자연어처리(NLP) 분야에서 개념 기반 모델 설명을 위한 새로운 프레임워크인 인과적 대체 모델(Causal Proxy Models, CPMs)을 소개한다. CPMs는 실제 반사적 조건부 입력이 흑상자 모델에서 관찰되지 않기 때문에, 인간이 애너테이션한 또는 히우리스틱적으로 생성된 근사 반사적 조건부 입력을 사용하여, 흑상자 모델의 사실적 및 반사적 행동을 모방하는 서rogate 모델을 훈련시킨다. CPMs는 CEBaB 벤치마크에서 최고 성능을 기록하며, 원본 모델을 대체할 수 있으며, 히든 상태 내 국소화된 개념 표현을 통해 사실적 정확도가 높고 인과적 동기를 가진 설명을 제공한다.

ABSTRACT

Explainability methods for NLP systems encounter a version of the fundamental problem of causal inference: for a given ground-truth input text, we never truly observe the counterfactual texts necessary for isolating the causal effects of model representations on outputs. In response, many explainability methods make no use of counterfactual texts, assuming they will be unavailable. In this paper, we show that robust causal explainability methods can be created using approximate counterfactuals, which can be written by humans to approximate a specific counterfactual or simply sampled using metadata-guided heuristics. The core of our proposal is the Causal Proxy Model (CPM). A CPM explains a black-box model $\mathcal{N}$ because it is trained to have the same actual input/output behavior as $\mathcal{N}$ while creating neural representations that can be intervened upon to simulate the counterfactual input/output behavior of $\mathcal{N}$. Furthermore, we show that the best CPM for $\mathcal{N}$ performs comparably to $\mathcal{N}$ in making factual predictions, which means that the CPM can simply replace $\mathcal{N}$, leading to more explainable deployed models. Our code is available at https://github.com/frankaging/Causal-Proxy-Model.

연구 동기 및 목표

• 흑상자 모델에서 진정한 반사적 조건부 입력이 관찰되지 않기 때문에, NLP 해석 가능성에서 인과 추론의 근본적 문제를 해결하기 위해.
• 실제로 완벽한 반사적 조건부 입력이 확보되지 않더라도 작동하는 견고하고 인과적 동기를 가진 설명 방법을 개발하기 위해.
• 흑상자 모델의 사실적 및 반사적 행동을 모두 재현하는 서rogate 모델을 만들기 위해, 설명 가능한 배포를 가능하게 한다.
• 모델 표현 내에서 개념 수준의 정보를 국소화하여 더 해석 가능하고 실천 가능한 통찰을 제공하기 위해.

제안 방법

• 흑상자 모델 𝒩의 사실적 예측을 일치시키기 위해 디스틸레이션 스타일의 목적함수를 사용하여 인과적 대체 모델(CPMs)을 훈련한다.
• 두 가지 다른 훈련 전략을 사용한다: 입력 기반 간섭(CPM_IN), 즉 반사적 개념 값에 대한 토큰을 입력에 첨부하는 방식이며, 히든 상태 간섭(CPM_HI), 즉 상호교환 간섭 훈련(IIT)을 사용하여 특정 히든 상태에 개념 정보를 국소화하는 방식이다.
• 반사적 행동의 훈련 데이터로 인간 애너테이션 또는 메타데이터에 기반한 히우리스틱적으로 생성된 근사 반사적 조건부 입력을 활용한다.
• 경로 통합 기울기(Path Integrated Gradients)를 수정하여 CPM_HI에서 중간 단계의 개념 국소화된 히든 상태를 통해 입력 수준의 기여도를 산정할 수 있도록 한다.
• CPMs가 원본 모델 𝒩과 유사한 사실적 성능을 유지하도록 보장하여, 설명 가능한 배포를 위한 모델 대체가 가능하도록 한다.
• CEBaB 벤치마크의 개념 수준 및 텍스트 수준의 감성 애너테이션을 사용하여 반사적 행동를 감시하고 평가한다.

실험 결과

연구 질문

• RQ1 인간이 애너테이션하거나 히우리스틱적으로 생성한 근사 반사적 조건부 입력이 NLP 모델의 견고한 인과적 설명을 가능하게 하는가?
• RQ2 근사 반사적 조건부 입력을 기반으로 훈련된 인과적 대체 모델(CPMs)이 CEBaB와 같은 인과적 설명 벤치마크에서 최고 성능(SOTA)을 달성하는가?
• RQ3 CPMs가 사실적 정확도를 유지하면서도 원본 흑상자 모델을 대체할 수 있는가? 그리고 더 깊이 있는 해석 가능성을 제공하는가?
• RQ4 CPMs는 히든 표현 내에서 개념 수준의 정보를 얼마나 잘 국소화하는가? 그리고 이로 인해 설명의 질이 향상되는가?
• RQ5 통합 기울기와 같은 기울기 기반 기여도 방법은 개념 국소화된 중간 히든 상태를 통해 인과적으로 관련된 입력 단어를 강조할 수 있는가?

주요 결과

• CPM_IN 및 CPM_HI는 인간 애너테이션과 히우리스틱적으로 생성된 근사 반사적 조건부 입력을 모두 사용하여 CEBaB 벤치마크에서 최고 성능(SOTA)을 기록한다.
• 흑상자 모델 𝒩을 위한 최고의 CPM은 사실 예측에서 𝒩과 동일한 성능을 보이며, 이로 인해 CPM이 설명 가능성 향상을 위해 직접 𝒩의 대체로 배포될 수 있다.
• CPM_HI 모델은 특정 히든 상태에 개념 수준의 정보를 성공적으로 국소화하여 더 해석 가능하고 인과적 기반의 설명을 가능하게 한다.
• CPM_HI에서의 기울기 기여도는 훈련 과정 내내 안정된 개념 중심의 단어 중요도 패tern을 보이며, 훈련이 진행됨에 따라 의미적으로 관련된 단어들(예: 'ambiance'에 대해 'decorations')에 명확히 초점을 맞춘다.
• 훈련 과정은 입력 단어에 대해 인과적 동기를 가진 기울기를 유도하며, 이는 CPMs가 예측에 인과적으로 영향을 주는 특징을 강조하도록 학습하고 있음을 보여준다.
• CPM_HI에 적응된 경로 통합 기울기는 중간 단계의 개념 국소화된 상태를 통해 입력 수준의 기여도를 산정할 수 있도록 하여 설명의 정밀도를 향상시킨다.