[논문 리뷰] Faithful Explanations of Black-box NLP Models Using LLM-generated Counterfactuals

Yair Ori Gat, Nitay Calderon외 4명|arXiv (Cornell University)|2023. 10. 01.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 LLM을 활용한 역설적 대체 문장(Counterfactuals)을 사용하여 블랙박스 NLP 모델에 대한 충실하고 인과적 설명을 제공하는 두 가지 모델에 종속되지 않는 접근법을 제안한다: (1) 직접적인 LLM 기반 역설적 대체 문장 생성 및 (2) 훈련 중에 LLM이 생성한 역설적 대체 문장을 기반으로 한 빠르고 효율적인 매칭 방법. 매칭 방법은 인과 그래프에 대한 충실도를 유지하는 인과적 임베딩 공간을 학습하며, 특히 Top-K 기법과 조합했을 때 많은 기준 모델들을 능가한다.

ABSTRACT

Causal explanations of the predictions of NLP systems are essential to ensure safety and establish trust. Yet, existing methods often fall short of explaining model predictions effectively or efficiently and are often model-specific. In this paper, we address model-agnostic explanations, proposing two approaches for counterfactual (CF) approximation. The first approach is CF generation, where a large language model (LLM) is prompted to change a specific text concept while keeping confounding concepts unchanged. While this approach is demonstrated to be very effective, applying LLM at inference-time is costly. We hence present a second approach based on matching, and propose a method that is guided by an LLM at training-time and learns a dedicated embedding space. This space is faithful to a given causal graph and effectively serves to identify matches that approximate CFs. After showing theoretically that approximating CFs is required in order to construct faithful explanations, we benchmark our approaches and explain several models, including LLMs with billions of parameters. Our empirical results demonstrate the excellent performance of CF generation models as model-agnostic explainers. Moreover, our matching approach, which requires far less test-time resources, also provides effective explanations, surpassing many baselines. We also find that Top-K techniques universally improve every tested method. Finally, we showcase the potential of LLMs in constructing new benchmarks for model explanation and subsequently validate our conclusions. Our work illuminates new pathways for efficient and accurate approaches to interpreting NLP systems.

연구 동기 및 목표

• 블랙박스 NLP 모델에 대한 충실하고 모델에 종속되지 않는 설명의 부족을 해결하기 위해 인과적 추론에 기반한 설명을 제공하는 것.
• 기존 방법들이 혼동 요소 개념이 존재할 경우 상관관계를 인과관계로 오해하는 한계를 극복하는 것.
• LLM 기반 역설적 대체 문장 생성의 높은 추론 비용을 줄이면서도 설명의 충실도를 유지하는 것.
• 추론 시점에서 효율적인 매칭을 가능하게 하기 위해 훈련 시 인과 그래프에 충실한 인과적 표현 공간을 학습하는 방법을 개발하는 것.
• LLM을 사용하여 모델 설명 방법을 평가하기 위한 고품질, 확장 가능한 벤치마크를 구축할 수 있음을 입증하는 것.

제안 방법

• 특정 개념을 수정하면서 혼동 요소 개념을 유지하는 방식으로 LLM을 프롬프팅하여 충실한 역설적 대체 문장을 생성하는 역설적 대체 문장 생성 방법을 제안한다.
• 대조 손실을 사용하여 LLM이 생성한 역설적 대체 문장과 유효한 매칭 예제를 기반으로 인과적 표현 공간을 학습하는 매칭 기반 방법을 도입한다.
• 역방향 기준을 충족하는 조정 변수를 정의하기 위해 인과 그래프를 활용하여 역설적 대체 문장 근사치에서 유효한 혼동 요소 제어를 보장한다.
• 유사한 표현을 쿼리 및 CF/매칭된 예제에 대해, 잘못 지정된 예제에 대해서는 다를 표현을 갖도록 표현 모델을 훈련하기 위해 대조 목표 함수를 사용한다.
• 모든 방법에 대해 Top-K 기법을 적용하여 매칭 및 생성 설정에서 특히 강력한 성능 향상과 안정성을 향상시킨다.
• GPT-4를 훈련 시점에 활용하여 고품질의 역설적 대체 문장을 생성하고 유효한 매칭을 식별함으로써 테스트 시점에 LLM을 사용하지 않고도 효율적인 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 LLM 기반 역설적 대체 문장은 블랙박스 NLP 모델에 대한 최신 기술 수준의 모델에 종속되지 않는 설명으로 활용될 수 있는가?
• RQ2 테스트 시점에 비용이 많이 드는 LLM 추론에 의존하지 않고 충실하고 인과적인 설명을 어떻게 달성할 수 있는가?
• RQ3 학습된 임베딩 공간은 인과적 충실도를 유지하면서 효율적이고 정확한 역설적 대체 문장 매칭을 가능하게 할 수 있는가?
• RQ4 Top-K 기법은 역설적 대체 문장 설명 방법의 성능을 어느 정도 향상시키는가?
• RQ5 LLM을 사용하여 확장 가능하고 고품질의 벤치마크를 구축하여 모델 설명 방법을 평가하는 데 효과적으로 활용할 수 있는가?

주요 결과

• LLM 기반 역설적 대체 문장 생성은 모델에 종속되지 않는 설명자로서 최신 기술 수준의 성능을 달성하며, 인과 효과에 대한 높은 충실도를 보였다.
• 테스트 시점에 LLM 추론을 피하는 본 연구에서 제안한 매칭 방법은 생성 방법 대비 최대 1000배 빠르며, 여러 강력한 기준 모델들을 능가한다.
• Top-K 기법은 평가된 모든 방법에서 성능 향상을 균일하게 유도하며, 특히 매칭 및 생성 설정에서 안정성과 정확도를 크게 향상시켰다.
• 학습된 인과적 임베딩 공간은 유효한 역설적 대체 문장 근사치를 효과적으로 식별하며, 기저의 인과 그래프에 대한 충실도를 유지했다.
• LLM은 모델 설명을 위한 고품질, 확장 가능한 벤치마크를 효과적으로 생성할 수 있으며, 높은 비용이 드는 인간 주석 의존도를 줄일 수 있었다.
• 실험 결과는 역설적 대체 문장을 근사화하는 것이 충실한 설명을 위해 반드시 필요하며, 비인과적 방법은 혼동 요소 편향으로 인해 종종 실패한다는 점을 입증했다.