[논문 리뷰] CEBaB: Estimating the Causal Effects of Real-World Concepts on NLP Model Behavior

Eldar David Abraham, Karel D’Oosterlinck외 6명|arXiv (Cornell University)|2022. 05. 27.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 실제 개념(예: 음식, 서비스)이 모델 행동에 미치는 영향을 분리하여 생성한 반사적 레스토랑 리뷰를 사용해 NLP에서 개념 기반 설명 방법을 평가하기 위한 원인 인과 기반 벤치마크인 CEBaB를 소개한다. TCAV, ConceptSHAP, LIME와 같은 방법들을 검증된 분할 수준 및 총합 감성 주석을 사용해 엄밀한 비교를 가능하게 하며, 실제 NLP 시나리오에서 원인 효과 추정을 위한 자연스러운 메트릭을 설정한다.

ABSTRACT

The increasing size and complexity of modern ML systems has improved their predictive capabilities but made their behavior harder to explain. Many techniques for model explanation have been developed in response, but we lack clear criteria for assessing these techniques. In this paper, we cast model explanation as the causal inference problem of estimating causal effects of real-world concepts on the output behavior of ML models given actual input data. We introduce CEBaB, a new benchmark dataset for assessing concept-based explanation methods in Natural Language Processing (NLP). CEBaB consists of short restaurant reviews with human-generated counterfactual reviews in which an aspect (food, noise, ambiance, service) of the dining experience was modified. Original and counterfactual reviews are annotated with multiply-validated sentiment ratings at the aspect-level and review-level. The rich structure of CEBaB allows us to go beyond input features to study the effects of abstract, real-world concepts on model behavior. We use CEBaB to compare the quality of a range of concept-based explanation methods covering different assumptions and conceptions of the problem, and we seek to establish natural metrics for comparative assessments of these methods.

연구 동기 및 목표

• NLP에서 개념 기반 설명 방법을 평가하기 위한 표준화되고 실제 세계 기반의 벤치마크가 부족한 문제를 해결하기 위해.
• 모델 설명을 원인 인과 문제로 재정의하여 실제 세계 개념이 모델 예측에 미치는 영향을 추정하기 위해.
• 인간이 검증한 반사적 텍스트를 포함한 풍부하고 구조화된 데이터셋을 제공하여 설명 기법의 원인 인과 평가를 지원하기 위해.
• 개념 기반 설명 방법의 품질을 평가하기 위한 자연스럽고 비교 가능한 메트릭을 정의하기 위해.
• 실제 세계 데이터와 원인 추정을 사용해 TCAV, ConceptSHAP, LIME와 같은 방법들 간의 공정하고 경험적 비교를 가능하게 하기 위해.

제안 방법

• CEBaB는 2,299개의 원본 OpenTable 리뷰를 이용해 음식, 서비스, 분杂, 소음의 네 가지 요소를 대상으로 한 인과적 편집을 통해 15,089개의 텍스트로 확장하여 구성된다.
• 각 리뷰는 분할 수준 감성(+, –, unk)과 총합 감성(1~5점)으로 주석 처리되었으며, 각 텍스트당 5명의 커뮤니티 작업자에 의해 검증되었다.
• 특정 개념에 대한 간섭을 가하면서 다른 요소는 일정하게 유지함으로써 원인 추정이 가능하게 하여, 모델 출력에 대한 개별 개념 효과를 추정할 수 있도록 한다.
• 설명 방법은 ICaCE(간섭 기반 개념적 인과 효과) 메트릭을 사용해 평가되며, 이는 개념에 간섭했을 때 모델 출력의 변화를 잘 예측하는지 측정한다.
• TCAV, ConceptSHAP, LIME는 동일한 원인 추정 프레임워크를 사용해 적응 및 평가되었으며, 공정한 비교를 위해 정규화 및 일관된 초모수를 적용하였다.
• 개념 방향은 레이블이 붙은 분할 수준 데이터를 기반으로 학습된 SVM을 사용해 CAV를 통해 학습되었으며, 개념 표현 품질을 검증하기 위해 완전성 점수가 계산되었다.

실험 결과

연구 질문

• RQ1 개념 기반 설명 방법은 실제 세계 개념이 NLP 모델 예측에 미치는 진짜 인과 효과를 얼마나 잘 추정할 수 있는가?
• RQ2 TCAV, ConceptSHAP, LIME는 실제 세계 NLP 데이터에서 인과 효과를 추정할 때 상대적으로 어떤 성능을 보이는가?
• RQ3 인간이 검증한 반사적 텍스트를 포함한 벤치마크는 설명 방법에 대해 신뢰할 수 있고 비교 가능한 평가 메트릭을 제공할 수 있는가?
• RQ4 완전성 점수와 모델 성능는 인과 효과 추정의 품질과 어떤 상관관계가 있는가?
• RQ5 다른 설명 방법들은 개념을 개별적으로 수정했을 때 진짜 간섭 효과를 어느 정도 잘 포착하는가?

주요 결과

• CEBaB는 네 가지 요소에 걸쳐 15,089개의 텍스트 쌍(원본 및 반사적)으로 구성된 풍부하고 검증된 데이터셋을 제공하여 정밀한 인과 효과 추정이 가능하다.
• 음식, 서비스, 분잡, 소음의 전체 개념 세트에 대해 모든 모델의 완전성 점수가 0.9를 초과하여 강력한 개념 표현 품질을 나타낸다.
• TCAV, ConceptSHAP, LIME는 동일한 원인 추정 프레임워크를 사용해 평가되었으며, ICaCE 추정 정확도에 대한 유의미한 차이가 있음을 확인하였다.
• TCAV에서 정규화된 방향 도함수와 Tanh 정규화를 사용함으로써 확률 기반 원인 메트릭과의 호환성이 향상되었다.
• ConceptSHAP는 정확도 비율이 아닌 확률 기반 기여도를 출력하도록 적응되어, 다른 원인 추정기와의 직접 비교가 가능해졌다.
• 벤치마크를 통해 개별 개념 효과를 분리할 수 있었으며, 실제 세계 NLP 시나리오에서 인과 추정이 가능하고 측정 가능하다는 점을 입증하였다.